Error Span

Name: Potato
Author: Potato

Costruisci in Potato interfacce di annotazione degli errori in stile MQM per la valutazione della qualità delle traduzioni, con categorie tipizzate e punteggi di gravità.

Lo schema di annotazione error span offre un'interfaccia in stile MQM (Multidimensional Quality Metrics) per marcare gli errori in un testo con categorie tipizzate e livelli di gravità. È adatto alla valutazione della qualità delle traduzioni, alla revisione editoriale, al controllo della qualità dei contenuti e a qualsiasi compito che richieda un'annotazione degli errori a grana fine.

Interfaccia error span di Potato per marcare gli errori di traduzione con i punteggi di gravità Error span in Potato

Panoramica

Lo schema error span mette a disposizione:

Categorie di errore tipizzate con sottotipi opzionali per una classificazione più dettagliata
Livelli di gravità con detrazioni di punti configurabili
Punteggio di qualità aggiornato in tempo reale che scende man mano che vengono marcati gli errori
Span colorati che distinguono a colpo d'occhio tipo e gravità dell'errore

Gli annotatori selezionano porzioni di testo, assegnano un tipo di errore e una gravità, e il sistema calcola da sé il punteggio di qualità.

Avvio rapido

yaml

annotation_schemes:
  - annotation_type: error_span
    name: translation_errors
    description: Mark all errors in the translation below.
    error_types:
      - name: Accuracy
      - name: Fluency
      - name: Terminology
    show_score: true
    max_score: 100

Opzioni di configurazione

Campo	Tipo	Predefinito	Descrizione
`annotation_type`	string	Obbligatorio	Deve essere `"error_span"`
`name`	string	Obbligatorio	Identificatore univoco per questo schema
`description`	string	Obbligatorio	Istruzioni visualizzate agli annotatori
`error_types`	array	Obbligatorio	Elenco di oggetti che descrivono i tipi di errore, ciascuno con `name` e un array opzionale `subtypes`
`severities`	array	`[{name: "Minor", weight: -1}, {name: "Major", weight: -5}, {name: "Critical", weight: -10}]`	Elenco dei livelli di gravità con `name` e `weight` (detrazione di punti)
`show_score`	boolean	`true`	Mostra il punteggio di qualità aggiornato in tempo reale
`max_score`	integer	`100`	Punteggio di qualità di partenza, prima delle detrazioni

Esempi

Qualità della traduzione (MQM)

yaml

annotation_schemes:
  - annotation_type: error_span
    name: mqm_errors
    description: >
      Mark all errors in the machine translation.
      Select the error span, choose a category and severity.
    error_types:
      - name: Accuracy
        subtypes:
          - Mistranslation
          - Addition
          - Omission
          - Untranslated
      - name: Fluency
        subtypes:
          - Grammar
          - Spelling
          - Punctuation
          - Register
      - name: Terminology
        subtypes:
          - Inconsistent
          - Wrong Term
      - name: Style
    severities:
      - name: Minor
        weight: -1
      - name: Major
        weight: -5
      - name: Critical
        weight: -10
    show_score: true
    max_score: 100

Revisione editoriale di contenuti

yaml

annotation_schemes:
  - annotation_type: error_span
    name: editing_errors
    description: Mark all issues that need editing in this article.
    error_types:
      - name: Factual Error
      - name: Grammar
        subtypes:
          - Subject-Verb Agreement
          - Tense
          - Pronoun Reference
      - name: Style
        subtypes:
          - Wordiness
          - Passive Voice
          - Jargon
      - name: Formatting
    severities:
      - name: Suggestion
        weight: -1
      - name: Required Fix
        weight: -5
    show_score: false

Annotazione di code review

yaml

annotation_schemes:
  - annotation_type: error_span
    name: code_errors
    description: Mark issues in this code snippet.
    error_types:
      - name: Bug
        subtypes:
          - Logic Error
          - Off-by-One
          - Null Reference
      - name: Style
        subtypes:
          - Naming
          - Formatting
      - name: Security
        subtypes:
          - Injection
          - Exposure
      - name: Performance
    severities:
      - name: Nitpick
        weight: -1
      - name: Warning
        weight: -3
      - name: Blocker
        weight: -10
    max_score: 100
    show_score: true

Formato di output

json

{
  "translation_errors": {
    "labels": {
      "errors": [
        {
          "start": 12,
          "end": 25,
          "text": "incorrectly translated",
          "error_type": "Accuracy",
          "subtype": "Mistranslation",
          "severity": "Major"
        },
        {
          "start": 45,
          "end": 52,
          "text": "the the",
          "error_type": "Fluency",
          "subtype": "Grammar",
          "severity": "Minor"
        }
      ],
      "score": 94
    }
  }
}

Il punteggio si calcola sommando a max_score tutti i pesi di gravità.

Buone pratiche

Definisci confini chiari tra i tipi di errore - gli annotatori non devono faticare a scegliere tra due tipi; metti degli esempi nella descrizione
Usa i sottotipi per la granularità - i tipi di primo livello tengono l'interfaccia semplice, mentre i sottotipi permettono un'analisi dettagliata quando serve
Calibra con attenzione i pesi di gravità - i rapporti tra i pesi devono riflettere l'impatto reale; un errore critico deve costare sensibilmente più di uno minore
Imposta max_score in proporzione alla lunghezza del testo - sui testi brevi un max_score più basso evita che un singolo errore pesi troppo
Fornisci linee guida di annotazione - l'annotazione in stile MQM rende molto meglio con linee guida dettagliate ed esempi per ogni tipo di errore e ogni gravità

Ulteriori letture

Annotazione Span - etichettatura generica degli span
Span Linking - collegamento tra span correlati
Controllo della Qualità - attention check e gold standard

Per i dettagli implementativi, vedi la documentazione sorgente.