Truth Serum

Nuevo en v2.7.0

El voto mayoritario falla justo donde la anotación es difícil: cuando una mayoría convencida se equivoca y una minoría informada acierta. Truth Serum añade una micropregunta después de cada etiqueta.

Has elegido Sarcastic. ¿Qué porcentaje del resto de anotadores elegirá la misma etiqueta que tú?

Un deslizador, un clic. Esas predicciones alimentan el principio de lo sorprendentemente popular (Prelec 2004; Prelec, Seung y McCoy 2017, Nature): la etiqueta cuya popularidad real supera con más margen a su popularidad predicha es la mejor estimación disponible de la verdad, y calcularla no requiere ninguna etiqueta de oro.

La intuición es que quien sostiene una postura minoritaria correcta suele saber que está en minoría, así que su respuesta acaba siendo más popular de lo que nadie predijo.

Hasta donde sabemos, Potato es la primera herramienta de anotación que incorpora puntuación por predicción entre pares.

Qué obtienes

1. Veredictos por elemento que superan al voto mayoritario en los casos difíciles. La cola "Dónde es probable que la mayoría se equivoque" del panel lista cada instancia cuya etiqueta sorprendentemente popular difiere de su etiqueta mayoritaria. Revísalas primero, o mándalas a adjudicación.
2. Puntuaciones de calibración por anotador. Cuánto se aleja el acuerdo que cada anotador predijo del acuerdo que realmente obtuvo de sus pares. Los anotadores con exceso de confianza y mal calibrados salen a la luz sin una sola pregunta de oro.
3. Alineación con SP. Con qué frecuencia la etiqueta de cada anotador coincide con el veredicto sorprendentemente popular, que sirve como indicio de estar informado y no solo de resultar complaciente.

Configuración

truth_serum:
  enabled: true
  schema: sarcasm            # scheme to collect predictions for (default: first radio)
  min_annotators: 3          # predictions per item before a verdict is computed
  # question: "What percentage of other annotators will choose the same label as you?"

Notas metodológicas

Léelas antes de citar Truth Serum en un artículo.

• Esta es la variante simplificada de predicción sobre la propia respuesta. Cada anotador predice la popularidad de la etiqueta que eligió, en lugar de una distribución completa sobre todas las etiquetas. La popularidad predicha de una etiqueta es la media de las predicciones de quienes la eligieron, su sorpresa es % real − % predicho, y el veredicto SP es la etiqueta votada más sorprendente.
• Los veredictos solo se calculan con min_annotators predicciones o más. Los veredictos con N pequeña son ruidosos; 3 es un mínimo, no una recomendación, y 5 o más va mejor.
• El error de calibración compara cada predicción con el acuerdo entre los demás anotadores de ese elemento, excluyendo al propio anotador.
• Los anotadores pueden rectificar. Gana el último par (etiqueta, predicción) de cada instancia.

Datos y API

Las predicciones se guardan en {output_annotation_dir}/truth_serum/predictions.jsonl (solo anexado; gana el último registro por anotador e instancia).

Lecturas adicionales

• Motor psicométrico — etiquetas con posteriores e intervalos de confianza
• Laboratorio de fronteras — control de calidad a partir de sondas contrafactuales
• MACE — estimación de competencia, que se combina bien con la vista de calibración de Truth Serum
• Agregar etiquetas de multitud
• Documentación de origen