Como escolher um esquema de anotação

Como mapear sua pergunta de pesquisa para o tipo de anotação certo do Potato: radio, multiselect, span, likert, slider, pairwise, best-worst, multirate, rubric e mais.

O esquema de anotação é o formato da pergunta que você faz aos anotadores. Escolha-o pensando em que tipo de resposta você precisa: uma categoria, várias categorias, uma região do item, uma posição em uma escala ou uma comparação entre itens. O Potato oferece mais de 30 tipos de anotação; este guia ajuda a reduzir as opções.

Para a lista completa de opções e suas configurações, consulte a referência de esquemas de anotação.

Um guia de decisão

Se você precisa de…	Use este tipo	Exemplo
Exatamente uma categoria	`radio`	Sentimento: positivo / negativo / neutro
Várias categorias ao mesmo tempo	`multiselect`	Tópicos presentes em um artigo
Uma categoria de uma lista longa	`select` (lista suspensa)	País, idioma, código ICD
Uma região dentro do texto/áudio	`span`	Entidades nomeadas, trechos com erro
Uma posição em uma escala	`likert`	Concordância, fluência, qualidade
Um valor contínuo	`slider`	Confiança 0–100
O melhor entre dois itens	`pairwise`	Qual resposta do modelo é melhor?
O melhor e o pior de um conjunto	`best_worst_scaling`	Ordenar traduções por fluência
A mesma escala em muitos itens	`multirate`	Avaliar cada documento recuperado
Vários critérios ponderados	`rubric_eval`	Pontuação de LLM no estilo MT-Bench
Uma resposta escrita	`text`	Justificativa, correção

Exemplo prático: rótulo único ou múltiplo

Se as categorias são mutuamente exclusivas, use radio para que os anotadores tenham de escolher uma:

yaml

annotation_schemes:
  - annotation_type: radio
    name: stance
    description: "What stance does the post take?"
    labels: [Supports, Opposes, Neutral]
    sequential_key_binding: true

Se um item pode ter vários rótulos ao mesmo tempo, use multiselect e defina os limites:

yaml

annotation_schemes:
  - annotation_type: multiselect
    name: topics
    description: "Select every topic the article covers."
    labels: [Politics, Technology, Health, Sports, Business]
    min_selections: 1
    max_selections: 3

sequential_key_binding: true permite que os anotadores pressionem teclas numéricas em vez de clicar, o que agiliza tarefas grandes.

Combine esquemas para tarefas mais ricas

Você pode empilhar vários esquemas em uma mesma tela, por exemplo, uma categoria mais um motivo em texto livre. Combine-os com lógica condicional para que o motivo apareça somente quando for necessário:

yaml

annotation_schemes:
  - annotation_type: radio
    name: quality
    description: "Is this answer acceptable?"
    labels: [Good, Bad]
  - annotation_type: text
    name: reason
    description: "If Bad, briefly explain why."
    label_requirement:
      required: false

Como escolher um esquema de anotação

Um guia de decisão

Exemplo prático: rótulo único ou múltiplo

Combine esquemas para tarefas mais ricas

Leituras adicionais