Skip to content

Guías

Explicaciones independientes de la herramienta sobre práctica de anotación: diseño de esquemas, acuerdo entre anotadores, crowdsourcing y evaluación de agentes.

Estas páginas son explicaciones, no referencia. Cada una responde a una pregunta sobre práctica de anotación que no depende de ninguna herramienta concreta, y después usa Potato como ejemplo trabajado.

Se agrupan en unos pocos bloques. El primero cubre decisiones que se toman antes de etiquetar nada: qué anotar, cómo redactar las directrices, qué forma deben tener los datos. Un bloque más amplio cubre tipos concretos de anotación, desde entidades nombradas y correferencia hasta audio, vídeo, segmentación de imágenes y nubes de puntos 3D. Un tercero cubre la medición: acuerdo, adjudicación, tamaño muestral y qué hacer cuando los anotadores discrepan. El resto cubre la evaluación de salidas de modelos y agentes, y cómo llevar un estudio con anotadores remunerados.

Si empiezas ahora con la anotación, comienza por ¿Qué es la anotación de datos?. Si ya tienes anotaciones y necesitas informar sobre su calidad, comienza por La concordancia entre anotadores, explicada.