Skip to content

Detectar alucinaciones con anotación de tramos

Cómo encontrar y etiquetar alucinaciones y errores factuales en la salida de un modelo mediante anotación de tramos y marcado de errores estilo MQM en Potato.

Una alucinación es una afirmación que un modelo hace con seguridad pero que no está respaldada por su entrada ni por los hechos. La forma más útil de capturarla es resaltar las palabras exactas y etiquetar qué tienen de erróneo: una tarea de anotación de tramos sobre la salida del modelo. Las etiquetas a nivel de tramo son mucho más accionables que un único indicador de "esta respuesta está mal".

Para más contexto, consulta alucinación (inteligencia artificial).

Por qué marcar tramos y no respuestas enteras

Una etiqueta de "no fiel" para toda la respuesta te dice que algo está mal; un tramo te dice qué y dónde. Los datos por tramos te permiten medir tasas de error por tipo, encontrar patrones y crear datos de entrenamiento específicos. Es un reflejo de MQM (Multidimensional Quality Metrics), el marco estándar de tramos de error de la evaluación de traducción automática.

Configurar la anotación de tramos de error

yaml
annotation_schemes:
  - annotation_type: span
    name: errors
    description: "Highlight each problematic span and label the error type."
    labels: [unsupported_claim, factual_error, contradiction, fabricated_citation]
    label_colors:
      unsupported_claim: "#f59e0b"
      factual_error: "#ef4444"
      contradiction: "#8b5cf6"
      fabricated_citation: "#ec4899"
  - annotation_type: radio
    name: severity
    description: "How serious is the worst error?"
    labels: [Minor, Major, Critical]

Añade un juicio de gravedad para poder ponderar de forma distinta un desliz trivial y una fabricación peligrosa, igual que hace MQM.

Definir los tipos de error

  • Afirmación sin respaldo: no sustentada por la fuente (el caso de RAG).
  • Error factual: contradice un hecho establecido.
  • Contradicción: choca con algo dicho antes en la misma salida.
  • Cita fabricada: una referencia que no existe o que no dice lo que se afirma.

Mantén el conjunto reducido y da a cada tipo una definición de una línea con un ejemplo, según Redacción de directrices de anotación.

Consideraciones de calidad

  • Da a los anotadores el material fuente; "sin respaldo" no se puede definir sin él.
  • Las reglas de límites importan: ¿el tramo cubre toda la frase o solo la cláusula falsa? Decídelo una sola vez.
  • La fidelidad es subjetiva en los casos límite; recoge solapamiento y vigila la concordancia.

Lecturas adicionales