Anotación de Confianza

Name: Potato
Author: Potato

Añade valoraciones de confianza junto a otras anotaciones en Potato mediante escalas Likert o deslizadores para registrar la certeza del anotador.

El esquema de anotación de confianza permite a los anotadores valorar cuánta confianza tienen en otra anotación que acaban de hacer. Combina una escala de confianza (Likert o deslizador) con un esquema de anotación de destino, de modo que puedes medir no solo qué eligió el anotador, sino con cuánta seguridad lo hizo.

Potato confidence annotation pairing a sentiment label with a 5-point confidence scale Confidence annotation in Potato

Visión General

Las anotaciones de confianza son clave para estudiar la calidad de la anotación, detectar elementos ambiguos y ponderar etiquetas al agregarlas. Cuando se configura, aparece un control de valoración de confianza junto a la anotación de destino que pide al anotador indicar cuán seguro está de su decisión.

Inicio Rápido

yaml

annotation_schemes:
  - annotation_type: radio
    name: sentiment
    description: What is the sentiment of this text?
    labels: ["Positive", "Negative", "Neutral"]
 
  - annotation_type: confidence
    name: sentiment_confidence
    description: How confident are you in your sentiment label?
    target_schema: sentiment
    scale_type: likert
    scale_points: 5

Opciones de Configuración

Campo	Tipo	Predeterminado	Descripción
`annotation_type`	string	Requerido	Debe ser `"confidence"`
`name`	string	Requerido	Identificador único para este esquema
`description`	string	Requerido	Instrucciones mostradas a los anotadores
`target_schema`	string	Opcional	Nombre del esquema de anotación al que se aplica esta valoración de confianza
`scale_type`	string	`"likert"`	Tipo de escala: `"likert"` para puntos discretos o `"slider"` para continua
`scale_points`	integer	`5`	Número de puntos de la escala Likert (se ignora con el deslizador)
`labels`	array	Opcional	Etiquetas propias para los puntos de la escala (por ejemplo, `["Not confident", "Very confident"]`)
`slider_min`	integer	—	Valor mínimo del deslizador (solo se usa cuando `scale_type` es `"slider"`)
`slider_max`	integer	—	Valor máximo del deslizador (solo se usa cuando `scale_type` es `"slider"`)
`label_requirement.required`	boolean	`false`	Si la valoración de confianza debe completarse antes de continuar

Ejemplos

Escala de Confianza Likert

yaml

annotation_schemes:
  - annotation_type: radio
    name: toxicity
    description: Is this comment toxic?
    labels: ["Toxic", "Not Toxic"]
 
  - annotation_type: confidence
    name: toxicity_confidence
    description: How confident are you in your toxicity judgment?
    target_schema: toxicity
    scale_type: likert
    scale_points: 5
    labels: ["Not at all confident", "Slightly confident", "Moderately confident", "Very confident", "Extremely confident"]

Escala de Confianza con Deslizador

yaml

annotation_schemes:
  - annotation_type: radio
    name: stance
    description: What stance does the author take?
    labels: ["Support", "Oppose", "Neutral"]
 
  - annotation_type: confidence
    name: stance_confidence
    description: Rate your confidence from 0 (guessing) to 100 (certain).
    target_schema: stance
    scale_type: slider

Valoración de Confianza Obligatoria

yaml

annotation_schemes:
  - annotation_type: multiselect
    name: topics
    description: Select all topics that apply.
    labels: ["Politics", "Economy", "Health", "Education"]
 
  - annotation_type: confidence
    name: topics_confidence
    description: How confident are you in your topic selections?
    target_schema: topics
    scale_type: likert
    scale_points: 3
    labels: ["Low", "Medium", "High"]

Confianza Independiente (Sin Destino)

Las anotaciones de confianza también pueden usarse sin esquema de destino, como autoevaluación general:

yaml

annotation_schemes:
  - annotation_type: confidence
    name: task_familiarity
    description: How familiar are you with this topic area?
    scale_type: likert
    scale_points: 5
    labels: ["Not familiar", "Slightly familiar", "Somewhat familiar", "Very familiar", "Expert"]

Formato de Salida

json

{
  "toxicity_confidence": {
    "labels": {
      "confidence": 4
    }
  }
}

En las escalas Likert, los valores van de 1 a scale_points. Con deslizadores, van de slider_min a slider_max.

Mejores Prácticas

Enlázala siempre con un esquema de destino - las valoraciones de confianza rinden más cuando se asocian a una decisión de anotación concreta
Usa Likert por sencillez - las escalas discretas son más rápidas y fáciles de usar para los anotadores
Usa deslizadores para medir con detalle - cuando necesites valores de confianza precisos para el análisis posterior
Haz obligatoria la confianza - las valoraciones opcionales se saltan a menudo, y eso resta valor a los datos
Analiza los patrones de confianza - los elementos con confianza baja son buenos candidatos para arbitraje o anotaciones adicionales

Lectura Adicional

Escalas Likert - Escalas de valoración ordinales
Deslizador - Anotación de valores continuos
Control de Calidad - Verificaciones de atención y estándares de referencia

Para detalles de implementación, consulta la documentación fuente.