Etichettatura automatica con IA a confronto: Label Studio, CVAT, Labelbox, Prodigy, Argilla e Potato

Tutti e sei gli strumenti confrontati qui possono importare o generare etichette di modelli e mandarle alle persone per la revisione, quindi questo confronto si concentra su che cosa misura ciascuno strumento sulle etichette che tiene. Nella documentazione che abbiamo letto a ottobre 2026, gli strumenti riportano accuratezza, precision, recall o accordo rispetto al ground truth o tra annotatori come valori puntuali, e nessuno di essi descrive un intervallo o un limite di errore sulla qualità delle etichette automatiche.

Per etichettatura automatica qui si intende qualsiasi funzione che mette l'etichetta di un modello su un item prima o al posto di quella di una persona, che il modello sia un detector, un classificatore o un LLM a cui è stato dato il task in un prompt. Ogni strumento in questo confronto ne ha una qualche versione, e gli strumenti si differenziano su tre domande che vale la pena porsi prima di sceglierne uno:

1. Come entrano le etichette automatiche in un progetto: importate come predizioni, generate da un modello collegato o prodotte da un prompt LLM dentro lo strumento.
2. Come le revisiona una persona, e se la persona vede la risposta del modello mentre etichetta.
3. Che cosa riporta lo strumento su quanto spesso le etichette automatiche sono sbagliate, rispetto a quale riferimento e con quale incertezza.

Ogni sezione qui sotto si basa sulla documentazione dello strumento stesso a ottobre 2026, con un link dove la citiamo. Dove non abbiamo trovato qualcosa nella documentazione, lo diciamo, perché una funzione può esistere senza essere documentata.

Label Studio

Label Studio collega i modelli tramite un ML backend, un SDK che incapsula il tuo modello come server web, e importa le predizioni sotto una chiave predictions con un model_version e uno score. Le predizioni importate non possono essere modificate, e lo score si applica all'intera predizione. Le edizioni Enterprise e Starter Cloud aggiungono Prompts, che genera predizioni da prompt LLM e le valuta, e la pagina sul ML descrive una funzione Enterprise per "etichettatura automatica assistita da LLM e valutazione dei modelli".

La revisione è un flusso di lavoro Enterprise. La guida alla qualità afferma che "il flusso di lavoro di revisione delle annotazioni è disponibile solo in Label Studio Enterprise Edition", con le azioni accetta, rifiuta e correggi-e-accetta e un'opzione per ordinare i task in base alla confidenza del modello. Le impostazioni di campionamento per la revisione vengono applicate come tassi probabilistici, e l'uncertainty sampling manda per prime alle persone le predizioni meno sicure.

Per la qualità, Label Studio Enterprise confronta annotazioni e predizioni dei modelli con il ground truth "per calcolare un punteggio di accuratezza tra 0 e 1", e la sua matrice di accordo può includere versioni di modelli. Prompts riporta l'accuratezza complessiva e l'F1 rispetto al ground truth, il numero di task valutati e il costo di inferenza, ciascuno come punteggio puntuale. La sua panoramica di Prompts aggiunge che "più dati hai per la valutazione del prompt, più puoi essere sicuro dei risultati", senza indicare un intervallo.

CVAT

L'annotazione automatica di CVAT pre-annota i dati con un detector o un modello di re-identificazione, con una soglia di confidenza opzionale. Quali modelli sono disponibili dipende dall'edizione. La tabella dei modelli IA elenca funzioni Nuclio per l'edizione Community, e modelli di terze parti da Hugging Face e Roboflow e funzioni native di agenti IA per CVAT Online ed Enterprise.

Per la revisione umana, CVAT ha una modalità di revisione per segnalare problemi e una fase di validazione, e il consenso unisce il lavoro di più annotatori in un unico risultato con un punteggio di accordo da 0 a 1. Il controllo della qualità con ground truth e honeypot di CVAT, indicato per CVAT Online ed Enterprise, confronta i job di annotazione con un job di ground truth e riporta accuratezza, precision e recall. La documentazione descrive il metodo come statistico, perché stima la qualità sull'intero dataset a partire da una piccola porzione, e dice che "il 5-15% dei dati è di solito sufficiente". Il report di qualità confronta ogni job del task con il job di ground truth, quindi valuta l'output dell'annotazione automatica solo come parte di ciò che quei job contengono, e non abbiamo trovato un report che separi le annotazioni automatiche da quelle umane.

Labelbox

Labelbox importa pre-etichette, che descrive come "annotazioni suggerite importate in modo programmatico in un progetto Labelbox" perché le persone le revisionino. La sua funzione Foundry genera etichette con un modello, con una soglia di confidenza "che dice al modello quanto deve essere sicuro prima di suggerire un'etichetta". Foundry è disponibile su tutti i piani tranne gli abbonamenti Educational.

La guida all'uso delle predizioni di Foundry suggerisce due modi per instradarle alle persone. Uno filtra in base alla confidenza, per esempio mandando in revisione tutto ciò che sta sotto 0,75. L'altro manda "un campione casuale di predizioni in revisione", il che "ti aiuta a individuare problemi sistematici e a calcolare metriche di accuratezza complessive". Le metriche dei modelli di Labelbox calcolano precision, recall, F1, IoU e una matrice di confusione da predizioni e ground truth a soglie da 0 a 1. La sua pagina delle deprecazioni dice che la funzione Model experiments non è più disponibile dal 15 luglio, senza indicare l'anno, mentre la guida alle metriche manda ancora le metriche personalizzate al tipo Experiment, quindi verifica che le metriche delle model run siano ancora disponibili nel tuo workspace.

Prodigy

Prodigy è costruito attorno a un modello nel ciclo. Ricette come ner.correct mostrano le predizioni di un modello spaCy perché una persona le corregga, ner.teach e textcat.teach privilegiano gli esempi su cui il modello è meno sicuro, e ner.model-annotate registra le etichette di un modello come se le avesse fatte un annotatore. Le ricette LLM costruite su spacy-llm producono etichette per lo stesso flusso di correzione, e la documentazione avverte che "le annotazioni dell'LLM possono essere sbagliate. Vuoi comunque restare nel ciclo per curare le annotazioni."

La ricetta review risolve i conflitti tra annotatori in un'unica annotazione finale, e le ricette metric.iaa.* riportano la percentuale di accordo, l'alpha di Krippendorff e l'AC2 di Gwet tra annotatori. La documentazione non dice se includere in quelle cifre di accordo le etichette model-annotate di un modello. Per confrontare prompt o modelli, ab.llm.tournament fa giudicare alle persone coppie di output e classifica le combinazioni con il sistema di rating Glicko. La pagina dei prezzi di Prodigy elenca una licenza Personal e una Company con lo stesso installer, la stessa applicazione web e gli stessi plugin, e solo la licenza Company aggiunge l'SSO con OpenID Connect.

Argilla

Argilla collega l'output dei modelli ai record come suggerimenti, ciascuno con uno score, l'agente che lo ha prodotto e un tipo model o human. Nella vista di annotazione, i suggerimenti compaiono come risposte precompilate segnate da un'icona a scintilla, con i punteggi di confidenza mostrati quando il dataset li include. Argilla 1.x aveva un modulo di metriche che confrontava le risposte con i suggerimenti e riportava metriche come accuratezza, F1 e alpha di Krippendorff. Non abbiamo trovato report di accordo o di metriche dei modelli nella documentazione di Argilla 2.x. I dati sintetici e il feedback IA, compreso il giudizio con LLM, stanno nella libreria separata distilabel.

Potato

Potato collega LLM e modelli di visione tramite ai_support, e dalla versione 2.9 registra che cosa ha risposto per primo il modello (pre_annotation_seeds) accanto a ciò che l'annotatore ha salvato (final_annotation), quindi il tasso di accettazione viene dai tuoi dati. icl_labeling dà a un LLM come esempi le annotazioni su cui i tuoi annotatori sono già d'accordo, gli fa etichettare il resto e rimanda alle persone un campione delle sue etichette per una verifica in cieco, con l'accuratezza tracciata per schema.

Per un modello o un giudice LLM, la calibrazione dei giudici di Potato tiene le etichette del modello dove gli annotatori non possono vederle, estrae un campione casuale o stratificato per l'etichettatura umana in cieco e riporta l'accuratezza rispetto all'etichetta gold umana, il kappa di Cohen per le coppie persona-modello, modello-modello e persona-persona, l'alpha di Krippendorff e la calibrazione come expected calibration error e Brier score. Confrontare il kappa del modello con il kappa tra gli annotatori umani ti dice se il modello se la cava più o meno come un altro annotatore, come spiega Accordo dei giudici LLM. Solo Mode fa etichettare un esperto accanto a un LLM e affida a quest'ultimo il resto del corpus quando il loro accordo supera una soglia. Come negli altri strumenti, queste funzioni riportano stime puntuali, e un intervallo sul tasso di errore va calcolato fuori dallo strumento, come descrive l'ultima sezione.

I sei strumenti sulle tre domande

La tabella confronta i sei strumenti sulle tre domande, in base alla documentazione che ogni progetto aveva pubblicato a ottobre 2026:

Controllare le etichette automatiche in qualsiasi strumento

Qualunque strumento usi, il numero che puoi difendere viene dagli stessi tre passi. Estrai a caso gli item da far controllare alle persone, non dall'estremità a bassa confidenza, perché un campione degli item più difficili non dice nulla sul tasso di errore del resto. Fai etichettare quel campione alle persone senza che vedano la risposta del modello, perché un suggerimento visibile attira la risposta verso di sé. Poi riporta il tasso di errore sul campione con un intervallo di confidenza, usando un intervallo per una proporzione binomiale come quello di Wilson, così che chi legge possa vedere se 200 etichette controllate sostengono l'affermazione che fai.

L'instradamento a campione casuale di Labelbox, i frame di ground truth scelti a caso di CVAT (Online ed Enterprise) e il campione di calibrazione dei giudici di Potato, che può anche essere stratificato, estraggono già a caso. Negli altri strumenti, esporta un sottoinsieme casuale di ID degli item, assegnalo come task separato con le predizioni nascoste e calcola l'intervallo fuori dallo strumento.

Approfondimenti

• Strumenti di annotazione a confronto, per il confronto più ampio delle funzioni
• Pre-annotazione con LLM, sul bias da automazione quando le persone revisionano i suggerimenti
• Accordo dei giudici LLM, sul confronto tra un giudice e l'accordo delle persone tra loro