Skip to content

Active Learning für die Annotation

Was Active Learning ist, wann es hilft und welche Abfragestrategien Potato unterstützt: Unsicherheit, Diversität, BADGE, BALD, um für dieselbe Modellqualität weniger Daten zu labeln.

Active Learning wählt aus, welche Elemente als Nächstes annotiert werden, sodass ein Modell dieselbe Genauigkeit mit deutlich weniger Labels erreicht. Statt zufällig zu labeln, labelst du die Elemente, die das Modell am informativsten findet. Wenn das Labeln der Engpass ist, gehört das zu den lohnendsten verfügbaren Techniken.

Hintergrund dazu unter Active Learning. Die Feature-Referenz steht unter Active Learning.

Die Schleife

  1. Labele eine kleine Startmenge.
  2. Trainiere ein schnelles Modell auf dem, was du hast.
  3. Bewerte den ungelabelten Pool und wähle die informativsten Elemente aus.
  4. Annotiere diese, nimm sie auf, trainiere neu. Wiederholen.

Der Gewinn liegt in der Dateneffizienz: Das Modell setzt dein Annotationsbudget dort ein, wo es am meisten lernt.

Abfragestrategien, die Potato unterstützt

  • Uncertainty Sampling: Elemente auswählen, bei denen das Modell am unsichersten ist (nahe der Entscheidungsgrenze). Der einfachste und oft wirksame Standard.
  • Diversity Sampling: Elemente auswählen, die sich voneinander unterscheiden, damit kein Budget für Beinahe-Duplikate draufgeht.
  • BADGE: verbindet Unsicherheit und Diversität über Gradienten-Embeddings.
  • BALD: Bayes'sche Strategie, die Elemente auswählt, von denen die stärkste Verringerung der Modellunsicherheit zu erwarten ist.
  • Hybrid: mischt Strategien.
yaml
active_learning:
  enabled: true
  schema_names: [sentiment]
  query_strategy: uncertainty   # or diversity, badge, bald, hybrid
  min_instances_for_training: 20

Wann Active Learning hilft und wann nicht

Es hilft, wenn Labels teuer sind, der Pool groß ist und sich auf einer kleinen Startmenge ein brauchbares Modell trainieren lässt. Weniger hilft es, wenn:

  • Die Aufgabe so leicht ist, dass zufälliges Labeln ohnehin schnell sättigt.
  • Du eine unverzerrte Held-out-Testmenge brauchst; halte deine Evaluationsdaten zufällig gezogen, denn per Active Learning ausgewählte Daten sind absichtlich schief.
  • Labels im Verhältnis zum Entwicklungsaufwand billig sind.

Weiterführende Lektüre