Skip to content

Активное обучение для разметки

Что такое активное обучение, когда оно помогает и какие стратегии отбора поддерживает Potato (неопределённость, разнообразие, BADGE, BALD), чтобы размечать меньше при том же качестве модели.

Активное обучение выбирает, какие объекты размечать следующими, чтобы модель вышла на ту же точность на заметно меньшем числе меток. Вместо случайной разметки вы размечаете то, что модель считает самым информативным.

Общий контекст — в статье про активное обучение. Справочник по возможностям — в разделе Активное обучение.

Цикл

  1. Разметьте небольшой стартовый набор.
  2. Обучите быструю модель на том, что есть.
  3. Оцените неразмеченный пул и выберите самые информативные объекты.
  4. Разметьте их, добавьте к обучающим данным, переобучите. Повторите.

Каждый раунд тратит бюджет разметки там, где модель узнаёт больше всего.

Какие стратегии отбора поддерживает Potato

  • Отбор по неопределённости: берите объекты, в которых модель уверена меньше всего (у границы решения). Простейший вариант по умолчанию, и часто его достаточно.
  • Отбор по разнообразию: берите объекты, непохожие друг на друга, чтобы не тратить бюджет на почти дубликаты.
  • BADGE: совмещает неопределённость и разнообразие через градиентные эмбеддинги.
  • BALD: байесовская стратегия, выбирающая объекты, которые сильнее всего снизят неопределённость модели.
  • Гибрид: смешивает стратегии.
yaml
active_learning:
  enabled: true
  schema_names: [sentiment]
  query_strategy: uncertainty   # or diversity, badge, bald, hybrid
  min_instances_for_training: 20

Когда это помогает

Помогает, когда метки дороги, пул велик, а полезную модель можно обучить на небольшом стартовом наборе. Помогает меньше, когда:

  • Задача настолько проста, что случайная разметка и так быстро выходит на насыщение.
  • Вам нужна несмещённая отложенная тестовая выборка. Активное обучение перекашивает то, что попадает в разметку, поэтому данные для оценки набирайте случайно.
  • Метки дёшевы по сравнению с инженерными усилиями.

Что почитать дальше