Skip to content

Guias

Explicações independentes de ferramenta sobre prática de anotação: desenho de esquemas, concordância entre anotadores, crowdsourcing e avaliação de agentes.

Estas são explicações, não páginas de referência. Cada uma responde a uma pergunta sobre prática de anotação que não depende de nenhuma ferramenta específica, e depois usa o Potato como exemplo trabalhado.

Elas se dividem em alguns grupos. O primeiro cobre decisões tomadas antes de rotular qualquer coisa: o que anotar, como escrever as diretrizes, que formato os dados devem ter. Um grupo maior cobre tipos específicos de anotação, de entidades nomeadas e correferência a áudio, vídeo, segmentação de imagens e nuvens de pontos 3D. Um terceiro cobre medição: concordância, adjudicação, tamanho de amostra e o que fazer quando os anotadores discordam. O restante cobre avaliação de saídas de modelos e agentes, e como conduzir um estudo com anotadores remunerados.

Se você está começando em anotação, comece por O que é anotação de dados?. Se já tem anotações e precisa relatar a qualidade delas, comece por Concordância entre anotadores, explicada.