Cómo elegir un esquema de anotación

Cómo asignar tu pregunta de investigación al tipo de anotación de Potato adecuado: radio, multiselect, span, likert, slider, pairwise, best-worst, multirate, rubric y más.

El esquema de anotación es la forma de la pregunta que planteas a los anotadores. Elígelo según el tipo de respuesta que necesitas: una categoría, varias categorías, una región del elemento, una posición en una escala o una comparación entre elementos. Potato admite más de 30 tipos de anotación; esta guía te ayuda a reducir las opciones.

Para ver la lista completa de opciones y sus ajustes, consulta la referencia de esquemas de anotación.

Una guía de decisión

Si necesitas…	Usa este tipo	Ejemplo
Exactamente una categoría	`radio`	Sentimiento: positivo / negativo / neutral
Varias categorías a la vez	`multiselect`	Temas presentes en un artículo
Una categoría de una lista larga	`select` (desplegable)	País, idioma, código ICD
Una región dentro del texto/audio	`span`	Entidades nombradas, tramos de error
Una posición en una escala	`likert`	Acuerdo, fluidez, calidad
Un valor continuo	`slider`	Confianza 0–100
El mejor de dos elementos	`pairwise`	¿Qué respuesta del modelo es mejor?
El mejor y el peor de un conjunto	`best_worst_scaling`	Ordenar traducciones por fluidez
La misma escala en muchos elementos	`multirate`	Puntuar cada documento recuperado
Varios criterios ponderados	`rubric_eval`	Puntuación de LLM al estilo MT-Bench
Una respuesta escrita	`text`	Justificación, corrección

Ejemplo práctico: una etiqueta o varias

Si las categorías son mutuamente excluyentes, usa radio para que los anotadores deban elegir una:

yaml

annotation_schemes:
  - annotation_type: radio
    name: stance
    description: "What stance does the post take?"
    labels: [Supports, Opposes, Neutral]
    sequential_key_binding: true

Si un elemento puede tener varias etiquetas a la vez, usa multiselect y fija los límites:

yaml

annotation_schemes:
  - annotation_type: multiselect
    name: topics
    description: "Select every topic the article covers."
    labels: [Politics, Technology, Health, Sports, Business]
    min_selections: 1
    max_selections: 3

sequential_key_binding: true permite que los anotadores pulsen teclas numéricas en lugar de hacer clic, lo que acelera los trabajos grandes.

Combina esquemas para tareas más ricas

Puedes apilar varios esquemas en una misma pantalla, por ejemplo, una categoría más un motivo en texto libre. Combínalos con lógica condicional para que el motivo solo aparezca cuando hace falta:

yaml

annotation_schemes:
  - annotation_type: radio
    name: quality
    description: "Is this answer acceptable?"
    labels: [Good, Bad]
  - annotation_type: text
    name: reason
    description: "If Bad, briefly explain why."
    label_requirement:
      required: false

Cómo elegir un esquema de anotación

Una guía de decisión

Ejemplo práctico: una etiqueta o varias

Combina esquemas para tareas más ricas

Lecturas adicionales