Skip to content

Vorannotation mit LLMs und Vision-Modellen

Wie du Annotation beschleunigst: mit vorgeschlagenen Labels aus einem LLM und menschlicher Prüfung, In-Context-Learning, Option Highlighting und Vorannotation von Bildern über die KI-Unterstützung von Potato.

Bei der Vorannotation schlägt ein Modell Labels vor, die ein Mensch anschließend bestätigt oder korrigiert. Einen guten Vorschlag zu prüfen geht deutlich schneller, als von Grund auf zu labeln, deshalb spart Vorannotation viel Zeit, solange ein Mensch im Ablauf bleibt. Das ist maschinelles Lernen mit Human-in-the-Loop.

Potato bringt KI-Unterstützung für OpenAI, Claude, Gemini, Ollama und weitere mit.

So läuft Vorannotation ab

  1. Ein Modell (ein LLM oder bei Bildern ein Vision-Modell) sagt für jedes Item ein Label voraus.
  2. Die Vorhersage erscheint bei der annotierenden Person als vorbelegter Vorschlag oder als hervorgehobene Option.
  3. Die annotierende Person bestätigt oder korrigiert sie.
  4. In deine Daten geht das geprüfte Label ein, nicht die rohe Modellausgabe.

Einschalten

yaml
ai_support:
  enabled: true
  endpoint_type: openai      # or anthropic, gemini, ollama, ...
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
    temperature: 0.3

Potato bietet dafür mehrere Varianten:

  • Labeln per In-Context Learning: Das Modell labelt Items anhand einiger Beispiele im Prompt, der Mensch prüft nach.
  • Optionshervorhebung: Das Modell wählt die Labels vor, die es für am wahrscheinlichsten hält, sodass bestätigt statt gesucht wird.
  • Visuelle KI-Unterstützung: Vision-Modelle (GPT-4V, Claude, Gemini oder ein Detektor wie YOLO) schlagen Labels und Boxen für Bilder vor.

Das Risiko: Automation Bias

Die Gefahr bei der Vorannotation ist Automation Bias: Annotierende winken die Vorschläge des Modells durch und schleppen dessen Fehler in die vermeintlichen Goldstandard-Daten ein. Dagegen hilft:

  • Lass Goldstandards mitlaufen, damit blindes Zustimmen auffällt.
  • Belege die Items nicht vor, an denen du die Übereinstimmung misst; miss an Items ohne Vorschlag.
  • Zeige Vorschläge mit geringer Konfidenz bei schwierigen Fällen als Hinweis an, nicht als Voreinstellung.

Vorannotation und Active Learning

Vorannotation macht jedes einzelne Label schneller. Active Learning macht jedes Label wertvoller, indem es auswählt, welche Items als Nächstes drankommen. Beides passt gut zusammen.

Weiterführende Lektüre