Skip to content

L'apprentissage actif pour l'annotation

Ce qu'est l'apprentissage actif, quand il aide, et les stratégies de requête que prend en charge Potato (incertitude, diversité, BADGE, BALD), pour annoter moins d'éléments à qualité de modèle égale.

L'apprentissage actif choisit quels éléments annoter ensuite, afin qu'un modèle atteigne la même précision avec bien moins d'étiquettes. Au lieu d'étiqueter au hasard, on étiquette les éléments que le modèle juge les plus informatifs. Quand l'étiquetage est le goulot d'étranglement, c'est l'une des techniques au meilleur rendement.

Pour une introduction, voir apprentissage actif. Pour la référence de la fonctionnalité, voir Apprentissage actif.

La boucle

  1. Étiquetez un petit jeu de départ.
  2. Entraînez un modèle rapide sur ce dont vous disposez.
  3. Notez le pool non étiqueté et choisissez les éléments les plus informatifs.
  4. Annotez-les, ajoutez-les, réentraînez. Recommencez.

Le gain est l'efficacité des données : le modèle dépense votre budget d'annotation là où il apprend le plus.

Les stratégies de requête que prend en charge Potato

  • Échantillonnage par incertitude : choisir les éléments sur lesquels le modèle est le moins sûr (près de la frontière de décision). L'option par défaut la plus simple, et souvent efficace.
  • Échantillonnage par diversité : choisir des éléments différents les uns des autres, pour ne pas gaspiller le budget sur des quasi-doublons.
  • BADGE : combine incertitude et diversité à l'aide de plongements de gradient.
  • BALD : stratégie bayésienne qui sélectionne les éléments censés réduire le plus l'incertitude du modèle.
  • Hybride : mélange plusieurs stratégies.
yaml
active_learning:
  enabled: true
  schema_names: [sentiment]
  query_strategy: uncertainty   # or diversity, badge, bald, hybrid
  min_instances_for_training: 20

Quand l'apprentissage actif aide, et quand il n'aide pas

Il aide quand les étiquettes coûtent cher, que le pool est vaste et qu'un modèle utile peut être entraîné sur un petit jeu de départ. Il aide moins quand :

  • La tâche est si facile que l'étiquetage aléatoire sature déjà rapidement.
  • Vous avez besoin d'un jeu de test mis de côté sans biais : gardez vos données d'évaluation échantillonnées au hasard, car les données sélectionnées par l'apprentissage actif sont volontairement biaisées.
  • Les étiquettes sont bon marché par rapport à l'effort d'ingénierie.

Pour aller plus loin