Guide
Spiegazioni indipendenti dallo strumento sulla pratica dell'annotazione: progettazione degli schemi, accordo tra annotatori, crowdsourcing e valutazione di agenti.
Queste sono spiegazioni, non pagine di riferimento. Ognuna risponde a una domanda sulla pratica dell'annotazione che non dipende da uno strumento specifico, e poi usa Potato come esempio svolto.
Si dividono in alcuni gruppi. Il primo copre le decisioni che si prendono prima di etichettare qualsiasi cosa: che cosa annotare, come scrivere le linee guida, che forma devono avere i dati. Un gruppo più ampio copre tipi specifici di annotazione, dalle entità nominate e dalla correferenza fino ad audio, video, segmentazione di immagini e nuvole di punti 3D. Un terzo copre la misurazione: accordo, adjudication, dimensione del campione e che cosa fare quando gli annotatori sono in disaccordo. Il resto copre la valutazione degli output di modelli e agenti, e la conduzione di uno studio con annotatori retribuiti.
Se è la prima volta che annoti, parti da Che cos'è l'annotazione dei dati?. Se hai già annotazioni e devi documentarne la qualità, parti da L'accordo tra annotatori spiegato.