Anotação de Confiança

Adicione classificações de confiança combinadas com outras anotações no Potato usando escalas Likert ou controles deslizantes para capturar a certeza do anotador.

O esquema de anotação de confiança permite que os anotadores classifiquem a confiança em outra anotação que fizeram. Ele combina uma escala de confiança (Likert ou controle deslizante) com um esquema de anotação alvo, possibilitando que os pesquisadores meçam não apenas o que os anotadores escolheram, mas o quão certos estavam de sua escolha.

Visão Geral

As anotações de confiança são essenciais para estudar a qualidade da anotação, identificar itens ambíguos e ponderar rótulos durante a agregação. Quando configurado, um widget de classificação de confiança aparece ao lado da anotação alvo, solicitando que os anotadores indiquem o quão seguros estão de sua decisão.

Início Rápido

yaml

annotation_schemes:
  - annotation_type: radio
    name: sentiment
    description: What is the sentiment of this text?
    labels: ["Positive", "Negative", "Neutral"]
 
  - annotation_type: confidence_annotation
    name: sentiment_confidence
    description: How confident are you in your sentiment label?
    target_schema: sentiment
    scale_type: likert
    scale_points: 5

Opções de Configuração

Campo	Tipo	Padrão	Descrição
`annotation_type`	string	Obrigatório	Deve ser `"confidence_annotation"`
`name`	string	Obrigatório	Identificador único para este esquema
`description`	string	Obrigatório	Instruções exibidas aos anotadores
`target_schema`	string	Opcional	Nome do esquema de anotação ao qual esta classificação de confiança se aplica
`scale_type`	string	`"likert"`	Tipo de escala: `"likert"` para pontos discretos ou `"slider"` para contínua
`scale_points`	integer	`5`	Número de pontos na escala Likert (ignorado para o controle deslizante)
`labels`	array	Opcional	Rótulos personalizados para os pontos da escala (por exemplo, `["Not confident", "Very confident"]`)
`slider_min`	integer	—	Valor mínimo para o controle deslizante (usado apenas quando `scale_type` é `"slider"`)
`slider_max`	integer	—	Valor máximo para o controle deslizante (usado apenas quando `scale_type` é `"slider"`)
`label_requirement.required`	boolean	`false`	Se a classificação de confiança deve ser preenchida antes de prosseguir

Exemplos

Escala de Confiança Likert

yaml

annotation_schemes:
  - annotation_type: radio
    name: toxicity
    description: Is this comment toxic?
    labels: ["Toxic", "Not Toxic"]
 
  - annotation_type: confidence_annotation
    name: toxicity_confidence
    description: How confident are you in your toxicity judgment?
    target_schema: toxicity
    scale_type: likert
    scale_points: 5
    labels: ["Not at all confident", "Slightly confident", "Moderately confident", "Very confident", "Extremely confident"]

Escala de Confiança com Controle Deslizante

yaml

annotation_schemes:
  - annotation_type: radio
    name: stance
    description: What stance does the author take?
    labels: ["Support", "Oppose", "Neutral"]
 
  - annotation_type: confidence_annotation
    name: stance_confidence
    description: Rate your confidence from 0 (guessing) to 100 (certain).
    target_schema: stance
    scale_type: slider
    slider_min: 0
    slider_max: 100

Classificação de Confiança Obrigatória

yaml

annotation_schemes:
  - annotation_type: multiselect
    name: topics
    description: Select all topics that apply.
    labels: ["Politics", "Economy", "Health", "Education"]
 
  - annotation_type: confidence_annotation
    name: topics_confidence
    description: How confident are you in your topic selections?
    target_schema: topics
    scale_type: likert
    scale_points: 3
    labels: ["Low", "Medium", "High"]
    label_requirement:
      required: true

Confiança Independente (Sem Alvo)

As anotações de confiança também podem ser usadas sem um esquema alvo para autoavaliação geral:

yaml

annotation_schemes:
  - annotation_type: confidence_annotation
    name: task_familiarity
    description: How familiar are you with this topic area?
    scale_type: likert
    scale_points: 5
    labels: ["Not familiar", "Slightly familiar", "Somewhat familiar", "Very familiar", "Expert"]

Formato de Saída

json

{
  "toxicity_confidence": {
    "labels": {
      "confidence": 4
    }
  }
}

Para escalas Likert, os valores variam de 1 a scale_points. Para controles deslizantes, os valores variam de slider_min a slider_max.

Boas Práticas

Sempre combine com um esquema alvo - as classificações de confiança são mais úteis quando vinculadas a uma decisão de anotação específica
Use Likert para simplicidade - escalas discretas são mais rápidas e fáceis de usar para os anotadores
Use controles deslizantes para medição refinada - quando você precisa de valores de confiança precisos para análise posterior
Torne a confiança obrigatória - classificações de confiança opcionais costumam ser ignoradas, reduzindo a utilidade dos dados
Analise os padrões de confiança - itens de baixa confiança são bons candidatos para adjudicação ou anotações adicionais

Leitura Adicional

Escalas Likert - Escalas de classificação ordinais
Controle Deslizante - Anotação de valor contínuo
Controle de Qualidade - Verificações de atenção e padrões de referência

Para detalhes de implementação, consulte a documentação de origem.