Leitfäden
Werkzeugunabhängige Erklärungen zur Annotationspraxis: Schemaentwurf, Interrater-Reliabilität, Crowdsourcing und Agentenevaluation, je mit durchgerechnetem Beispiel.
Dies sind Erklärungen, keine Referenzseiten. Jede beantwortet zuerst eine Frage zur Annotationspraxis, die von keinem bestimmten Werkzeug abhängt, und nimmt dann Potato als durchgerechnetes Beispiel.
Sie zerfallen in einige Gruppen. Die erste behandelt Entscheidungen, die vor jeder Labelvergabe fallen: was annotiert wird, wie Richtlinien formuliert werden, welche Form die Daten haben sollen. Eine größere Gruppe behandelt einzelne Annotationsarten, von Eigennamen und Koreferenz über Audio und Video bis zu Bildsegmentierung und 3D-Punktwolken. Eine dritte behandelt Messung: Übereinstimmung, Schlichtung, Stichprobengröße und was zu tun ist, wenn Annotatoren uneins sind. Der Rest behandelt die Evaluation von LLM- und Agentenausgaben sowie die Durchführung einer Studie mit bezahlten Annotatoren.
Wenn Annotation für Sie neu ist, beginnen Sie mit Was ist Datenannotation?. Wenn Sie bereits Annotationen haben und über deren Qualität berichten müssen, beginnen Sie mit Inter-Annotator-Übereinstimmung erklärt.