Controle de Qualidade

Garanta a qualidade das anotações no Potato com itens de verificação de atenção, validação por padrão-ouro, sobreposição configurável de anotadores e relatórios de Alpha de Krippendorff.

O Potato oferece recursos abrangentes de controle de qualidade para garantir anotações de alta qualidade. Isso inclui verificações de atenção, padrões-ouro, suporte a pré-anotação e métricas de concordância em tempo real.

Visão Geral

O controle de qualidade no Potato consiste em quatro recursos principais:

Verificações de Atenção - Verificam o engajamento do anotador com itens de resposta conhecida
Padrões-Ouro - Acompanham a precisão em relação a itens rotulados por especialistas
Suporte a Pré-anotação - Pré-preenchem formulários com previsões do modelo
Métricas de Concordância - Calculam a concordância entre anotadores em tempo real

Verificações de Atenção

Verificações de atenção são itens com respostas corretas conhecidas que confirmam se os anotadores estão prestando atenção e não clicando aleatoriamente.

Configuração

yaml

attention_checks:
  enabled: true
  items_file: "attention_checks.json"
 
  # How often to inject attention checks
  frequency: 10              # Insert one every 10 items
  # OR
  probability: 0.1           # 10% chance per item
 
  # Optional: flag suspiciously fast responses
  min_response_time: 3.0     # Flag if answered in < 3 seconds
 
  # Failure handling
  failure_handling:
    warn_threshold: 2        # Show warning after 2 failures
    warn_message: "Please read items carefully before answering."
    block_threshold: 5       # Block user after 5 failures
    block_message: "You have been blocked due to too many incorrect responses."

Arquivo de Itens de Verificação de Atenção

json

[
  {
    "id": "attn_001",
    "text": "Please select 'Positive' for this item to verify you are reading carefully.",
    "expected_answer": {
      "sentiment": "positive"
    }
  }
]

Padrões-Ouro

Padrões-ouro são itens rotulados por especialistas usados para medir a precisão do anotador. Por padrão, os padrões-ouro são silenciosos — os resultados são registrados para revisão do administrador, mas os anotadores não veem feedback.

Configuração

yaml

gold_standards:
  enabled: true
  items_file: "gold_standards.json"
 
  # How to use gold standards
  mode: "mixed"              # Options: training, mixed, separate
  frequency: 20              # Insert one every 20 items
 
  # Accuracy requirements
  accuracy:
    min_threshold: 0.7       # Minimum required accuracy (70%)
    evaluation_count: 10     # Evaluate after this many gold items
 
  # Feedback settings (disabled by default)
  feedback:
    show_correct_answer: false
    show_explanation: false
 
  # Auto-promotion from high-agreement items
  auto_promote:
    enabled: true
    min_annotators: 3
    agreement_threshold: 1.0   # 1.0 = unanimous

Arquivo de Itens de Padrão-Ouro

json

[
  {
    "id": "gold_001",
    "text": "The service was absolutely terrible and I will never return.",
    "gold_label": {
      "sentiment": "negative"
    },
    "explanation": "Strong negative language clearly indicates negative sentiment.",
    "difficulty": "easy"
  }
]

Promoção Automática

Os itens podem se tornar padrões-ouro automaticamente quando vários anotadores concordam:

yaml

gold_standards:
  auto_promote:
    enabled: true
    min_annotators: 3          # Wait for at least 3 annotators
    agreement_threshold: 1.0   # 100% must agree (unanimous)

Suporte a Pré-anotação

A pré-anotação permite pré-preencher formulários de anotação com previsões do modelo, útil para aprendizado ativo e fluxos de correção.

Configuração

yaml

pre_annotation:
  enabled: true
  field: "predictions"        # Field in data containing predictions
  allow_modification: true    # Can annotators change pre-filled values?
  show_confidence: true
  highlight_low_confidence: 0.7

Formato de Dados

Inclua previsões nos seus itens de dados:

json

{
  "id": "item_001",
  "text": "I love this product!",
  "predictions": {
    "sentiment": "positive",
    "confidence": 0.92
  }
}

Métricas de Concordância

Métricas de concordância entre anotadores em tempo real usando o alpha de Krippendorff estão disponíveis no painel do administrador.

Configuração

yaml

agreement_metrics:
  enabled: true
  min_overlap: 2             # Minimum annotators per item
  auto_refresh: true
  refresh_interval: 60       # Seconds between updates

Interpretando o Alpha de Krippendorff

Valor de Alpha	Interpretação
α ≥ 0.8	Boa concordância - confiável para a maioria dos propósitos
0.67 ≤ α ≤ 0.8	Concordância provisória - tire conclusões provisórias
0.33 ≤ α ≤ 0.67	Baixa concordância - revise as diretrizes
α ≤ 0.33	Concordância fraca - problemas significativos

Integração com o Painel do Administrador

Veja as métricas de controle de qualidade no painel do administrador em /admin:

Verificações de Atenção: Taxas gerais de aprovação/reprovação, estatísticas por anotador
Padrões-Ouro: Precisão por anotador, análise de dificuldade por item
Concordância: Alpha de Krippendorff por esquema com interpretação
Itens Promovidos Automaticamente: Lista de itens promovidos por alta concordância

Endpoints da API

Métricas de Controle de Qualidade

http

GET /admin/api/quality_control

Retorna estatísticas de verificação de atenção e padrão-ouro.

Métricas de Concordância

http

GET /admin/api/agreement

Retorna o alpha de Krippendorff por esquema com interpretação.

Exemplo Completo

yaml

annotation_task_name: "Sentiment Analysis with Quality Control"
 
annotation_schemes:
  - name: sentiment
    annotation_type: radio
    labels: [positive, negative, neutral]
    description: "Select the sentiment of the text"
 
attention_checks:
  enabled: true
  items_file: "data/attention_checks.json"
  frequency: 15
  failure_handling:
    warn_threshold: 2
    block_threshold: 5
 
gold_standards:
  enabled: true
  items_file: "data/gold_standards.json"
  mode: mixed
  frequency: 25
  accuracy:
    min_threshold: 0.7
    evaluation_count: 5
 
agreement_metrics:
  enabled: true
  min_overlap: 2
  refresh_interval: 60

Solução de Problemas

Verificações de atenção não aparecem

Verifique se o caminho de items_file está correto (relativo ao diretório da tarefa)
Confira se os itens têm os campos obrigatórios (id, expected_answer)
Certifique-se de que frequency ou probability está definido

Métricas de concordância exibindo "No items with N+ annotators"

Garanta que os itens foram anotados por vários usuários
Reduza min_overlap se necessário
Verifique se as anotações estão sendo salvas corretamente

Leitura Adicional

Fase de Treinamento - Qualificação de anotadores
Painel do Administrador - Monitoramento de métricas
Atribuição de Tarefas - Controle da distribuição de anotações

Para detalhes de implementação, consulte a documentação de origem.