Concetti di annotazione dei dati

L'annotazione dei dati è il processo di aggiunta di etichette a dati grezzi come testo, immagini, audio, video o output dei modelli, in modo che i dati possano essere usati per addestrare o valutare modelli di machine learning. Un'etichetta può essere una categoria, un segmento evidenziato, una valutazione o un confronto. Potato ti consente di configurare uno qualsiasi di questi tipi di task con una breve configurazione YAML.

L'accordo tra annotatori misura quanto spesso annotatori indipendenti assegnano la stessa etichetta allo stesso elemento. È la prova standard del fatto che un task è ben definito e che le etichette sono affidabili. Le misure più comuni sono il kappa di Cohen, il kappa di Fleiss e l'alfa di Krippendorff, che correggono l'accordo dovuto al caso. Potato riporta l'alfa di Krippendorff nella sua dashboard di amministrazione.

Dipende dai tuoi dati e dai tuoi obiettivi, quindi non esiste una risposta univoca. Per lavori che spaziano tra testo, immagini, audio e valutazione di agenti IA, Potato è una solida opzione gratuita e open-source con più di 30 tipi di task e una configurazione YAML senza codice. Label Studio, Doccano, brat e Argilla sono altre scelte open-source con punti di forza diversi.

Inizia definendo il task e l'insieme di etichette, poi scrivi linee guida chiare e fai etichettare elementi sovrapposti a più annotatori. Misura l'accordo, risolvi i disaccordi ed esporta il risultato in un formato leggibile dalla tua pipeline di addestramento. Potato copre l'intero flusso di lavoro ed esporta in JSON, CoNLL, Hugging Face, spaCy e COCO/YOLO.

I task chiari e oggettivi possono spesso bastarsi di un solo annotatore, con un piccolo campione sovrapposto per i controlli di qualità. I task moderatamente soggettivi di solito impiegano tre annotatori, con risoluzione a maggioranza. I task altamente soggettivi impiegano cinque o più annotatori e talvolta mantengono l'intera gamma di opinioni invece di ridurla a un'unica risposta. Il beneficio cala rapidamente oltre i tre annotatori.

L'active learning sceglie quali elementi annotare per primi affinché un modello raggiunga un'accuratezza prefissata con meno etichette di quante ne servirebbero con un campionamento casuale. Il modello segnala gli elementi che ritiene più informativi, spesso quelli su cui è meno sicuro, e una persona li etichetta. Potato supporta le strategie di incertezza, diversità, BADGE e BALD.

La classificazione assegna una o più etichette a un intero elemento, ad esempio contrassegnando una recensione come positiva o negativa. L'annotazione di segmenti contrassegna una regione all'interno di un elemento, come evidenziare un nome in una frase o un evento su una forma d'onda audio. Il riconoscimento di entità nominate e la marcatura degli errori sono task di segmento. Potato supporta entrambi e puoi combinarli in un'unica schermata.

Fai giudicare gli output da delle persone: valutali su una scala, confrontane due affiancati, assegna loro un punteggio rispetto a una rubrica oppure contrassegna errori specifici con segmenti. Per gli agenti che compiono più passaggi, puoi anche giudicare ogni passaggio della traiettoria. Potato offre tutte queste possibilità e può leggere le tracce degli agenti da formati come OpenAI, Anthropic e ReAct.