QA Extractivo

El esquema de anotación de QA extractivo ofrece una interfaz de respuesta a preguntas en la que los anotadores resaltan los spans de respuesta directamente sobre un pasaje de texto. Este esquema encaja bien con la creación de conjuntos de datos de comprensión lectora, la anotación de QA al estilo de SQuAD, la verificación de hechos y cualquier tarea en la que las respuestas se extraen literalmente del texto de origen.

QA extractivo en Potato

Panorama General

El esquema de QA extractivo presenta:

• Una pregunta mostrada de forma destacada sobre el pasaje
• Un pasaje de texto en el que los anotadores seleccionan los spans de respuesta resaltándolos
• Resaltados con código de color que marcan el texto de la respuesta seleccionada
• Una opción de sin respuesta para las preguntas que no se pueden responder a partir del pasaje

Inicio Rápido

annotation_schemes:
  - annotation_type: extractive_qa
    name: answer_span
    description: Highlight the answer to the question in the passage below.
    question_field: question
    passage_field: passage
    allow_unanswerable: true

Opciones de Configuración

Ejemplos

QA al Estilo de SQuAD

annotation_schemes:
  - annotation_type: extractive_qa
    name: squad_answer
    description: >
      Select the shortest span in the passage that answers the question.
      If the question cannot be answered from the passage, mark it as unanswerable.
    question_field: question
    passage_field: context
    allow_unanswerable: true
    highlight_color: "#FFEB3B"

Con datos de ejemplo:

{
  "id": "q001",
  "question": "When was the university founded?",
  "context": "The University of Michigan was founded in 1817 in Detroit and moved to Ann Arbor in 1837. It is one of the oldest public universities in the United States."
}

Verificación de Hechos

annotation_schemes:
  - annotation_type: extractive_qa
    name: evidence_span
    description: >
      Highlight the evidence in the passage that supports or refutes the claim.
      Mark as unanswerable if the passage contains no relevant evidence.
    question_field: claim
    passage_field: document
    allow_unanswerable: true
    highlight_color: "#81C784"

Extracción de Respuestas sin Opción de Sin Respuesta

annotation_schemes:
  - annotation_type: extractive_qa
    name: definition_extraction
    description: >
      Highlight the definition of the term in the passage.
      Every passage contains a definition — select the most precise span.
    question_field: term
    passage_field: text
    allow_unanswerable: false
    highlight_color: "#64B5F6"

Formato de Salida

{
  "answer_span": {
    "labels": {
      "answer_start": 45,
      "answer_end": 49,
      "answer_text": "1817",
      "unanswerable": false
    }
  }
}

Cuando el anotador marca una pregunta como no respondible:

{
  "answer_span": {
    "labels": {
      "unanswerable": true
    }
  }
}

Buenas Prácticas

1. Pide a los anotadores que seleccionen spans mínimos: el texto más corto que responda por completo a la pregunta produce datos de entrenamiento más limpios
2. Usa allow_unanswerable en tareas realistas: el QA del mundo real incluye a menudo preguntas sin respuesta; desactivar esta opción obliga a los anotadores a adivinar
3. Elige colores de resaltado legibles: asegúrate de que el color del resaltado contrasta lo suficiente con el texto para leerlo con comodidad
4. Mantén los pasajes en una longitud razonable: entre 100 y 500 palabras por pasaje funciona bien; los pasajes muy largos hacen tediosa la selección de spans
5. Da un formato claro a las preguntas: comprueba que están bien formuladas y no son ambiguas, para reducir las dudas de los anotadores

Lecturas Adicionales

• Anotación de Spans: etiquetado de spans de propósito general
• Entrada de Texto y Números: respuesta en texto libre
• Soporte de IA: sugerencias de anotación asistidas por IA

Para detalles de implementación, consulta la documentación fuente.