Quando un modello inventa qualcosa, un pollice verso sull'intera risposta non ti dice quasi nulla. Sai che è sbagliata da qualche parte. Non sai quale frase, che tipo di errore o quanto sia grave. L'annotazione di segmenti risolve questo problema: l'annotatore evidenzia le parole esatte ed etichetta cosa c'è di sbagliato in esse.

È la stessa idea alla base di MQM, il framework basato sui segmenti di errore che la valutazione della traduzione automatica usa da anni. Contrassegna il segmento, classifica l'errore, valuta la gravità. Il risultato sono dati su cui puoi davvero agire.

Perché i segmenti battono i contrassegni sull'intera risposta

Un'etichetta "infedele" sull'intera risposta è una statistica riassuntiva. Un segmento è una posizione e una diagnosi. Con i segmenti puoi misurare i tassi di errore per tipo, individuare schemi su molti output e costruire dati di addestramento mirati per la modalità di fallimento che ti interessa. Nulla di tutto ciò è possibile quando l'unità di giudizio è l'intera risposta.

Configurarlo in Potato

Evidenzia il testo problematico, etichetta il tipo di errore e aggiungi un giudizio sulla gravità, così che una svista banale e una fabbricazione pericolosa non abbiano lo stesso peso.

yaml

annotation_schemes:
  - annotation_type: span
    name: errors
    description: "Highlight each problematic span and label the error type."
    labels: [unsupported_claim, factual_error, contradiction, fabricated_citation]
    label_colors:
      unsupported_claim: "#f59e0b"
      factual_error: "#ef4444"
      contradiction: "#8b5cf6"
      fabricated_citation: "#ec4899"
  - annotation_type: radio
    name: severity
    description: "How serious is the worst error?"
    labels: [Minor, Major, Critical]

Le regole che decidono la qualità dei tuoi dati

Fornisci agli annotatori il materiale di origine. "Non supportato" è indefinibile senza di esso, quindi i documenti o il contesto devono essere sullo schermo, non dietro una scheda.

Decidi una volta sola la tua regola sui confini. Il segmento copre l'intera frase o solo la clausola falsa? Entrambe le scelte sono difendibili; scegline una e mettila per iscritto.

Aspettati soggettività ai margini. I giudizi sulla fedeltà divergono nei casi limite, quindi raccogli sovrapposizione su un campione e verifica l'accordo prima di fidarti dei numeri.

Dove andare ora

La guida completa, incluso come definire ciascun tipo di errore, è nella guida al rilevamento delle allucinazioni. Per la versione di questo problema basata sul recupero, vedi Valutazione RAG e la guida all'annotazione di segmenti. Per i dettagli di implementazione, vedi la documentazione sorgente sui segmenti di errore.