Confronto con altri strumenti

Entrambi sono open source e coprono annotazione di testo, immagini, audio e video. Potato è gratis per sempre senza un livello Enterprise; le funzionalità di adjudication, accordo tra annotatori, valutazione con ground truth e flussi LLM basati su prompt di Label Studio sono riservate all'Enterprise (prezzo su richiesta). Potato include anche funzionalità di livello ricerca che Label Studio non offre: flussi multi-fase (consenso → training → annotazione → questionario), stima della competenza degli annotatori MACE, tracciamento comportamentale (tasti, mouse, tempi), 55 strumenti di questionario validati, integrazione nativa con MTurk/Prolific e infrastruttura completa di valutazione di agenti con 13 formati di tracce. La configurazione usa YAML invece di template XML.

Sì. Potato copre le capacità principali di Prodigy — classificazione del testo, span NER, relazioni, segmentazione audio/video, bounding box immagini, active learning, IAA, adjudication — e aggiunge flussi di ricerca multi-fase, MACE, tracciamento comportamentale, supporto più ampio dei provider LLM, Solo Mode e valutazione di agenti. La configurazione è YAML (nessuna ricetta Python richiesta). Potato è gratuito e open source; Prodigy costa circa 490 $ per postazione (disponibili licenze accademiche gratuite). Lo schema triage di Potato copre il flusso accetta/rifiuta di Prodigy.

INCEpTION rimane la piattaforma più solida per l'annotazione linguistica complessa con collegamento a knowledge base (Wikidata, DBPedia, OWL, SKOS) e flussi ricchi di coreference. Potato eguaglia le capacità principali di span/relazione/evento/coreference di INCEpTION e aggiunge annotazione immagini/audio/video, valutazione completa di agenti, configurazione YAML (niente Java/XML), flussi multi-fase, questionari, tracciamento comportamentale, integrazione LLM/AI più ampia e un deployment Python/Flask più leggero. Per progetti di KB-linking profondo scegli INCEpTION; per tutto il resto scegli Potato.

Per le esigenze tipiche di annotazione di computer vision, sì — Potato supporta bounding box, poligoni, maschere di segmentazione, landmark e annotazione video temporale con tracking di oggetti, ed esporta in COCO (con maschere RLE), YOLO e Pascal VOC. CVAT va più in profondità nei flussi puramente CV con cuboidi 3D, point cloud, integrazione SAM e labeling assistito da ML tramite Nuclio. CVAT non supporta in alcun modo l'NLP; Potato ti permette di combinare immagine, testo e altre annotazioni in un singolo task.

doccano è più semplice da configurare per classificazione del testo e NER di base, ma Potato offre molto di più: oltre 30 tipi di annotazione che vanno oltre il testo (immagini, audio, video, tracce di agenti), integrazione AI/LLM con 12 tipi di endpoint, active learning con 5 strategie di query, controllo qualità (attention check, gold standard, MACE), flussi di ricerca multi-fase, strumenti di questionario validati, integrazione nativa con crowdsourcing (MTurk, Prolific) e infrastruttura di valutazione di agenti.

Tre motivi. **Costo**: le piattaforme commerciali costano da 1.000 a 10.000 $+ al mese; Potato è gratis per sempre. **Privacy dei dati**: Potato è self-hosted, quindi i dati sensibili (cartelle cliniche, contenuti proprietari, tracce interne) non lasciano mai la tua infrastruttura. **Flussi di ricerca**: le piattaforme commerciali sono pensate per il labeling di dati di produzione; Potato supporta nativamente i pattern accademici (studi multi-fase, flussi di consenso compatibili con IRB, tracciamento comportamentale per la ricerca sui fattori umani, questionari post-studio validati, stima di competenza MACE e pagamenti in crowdsourcing). Potato è stato presentato a EMNLP 2022 e HCOMP 2024 (Best Demo).

Diverse capacità sono uniche o quasi uniche. **Infrastruttura di valutazione di agenti**: osservazione di navigazione web in diretta con takeover, rendering di tracce di coding agent (Claude Code, Cursor, Aider, SWE-Agent), annotazione errori passo-per-passo con trajectory_eval. **Solo Mode** con escalation di confidenza a cascata per la qualità di un singolo annotatore. **Stima della competenza degli annotatori MACE** per pesare le etichette con disaccordo frequente. **Razionali AI** che spiegano ciascuna etichetta suggerita. **55 strumenti di questionario validati** (SUS, NASA-TLX, UMUX, AttrakDiff) per la valutazione post-studio. **Annotazione di eventi n-ari**, annotazione di alberi di dipendenza tramite span-linking. **8 tipi di sorgenti dati** tra cui Google Drive, Dropbox, S3, HuggingFace, Google Sheets e database. **Flussi multi-fase** con branching.

Sì. Capacità che altrove sono livelli a pagamento sono gratuite in Potato: accordo tra annotatori (kappa di Cohen, Fleiss, alpha di Krippendorff), interfaccia di adjudication, gold standard, attention check, valutazione con ground truth, SSO/OAuth (Google, GitHub, OIDC generico), integrazione webhook con firma HMAC-SHA256, esportazione su HuggingFace Hub con DatasetCard generati automaticamente, integrazione LLM multi-provider e log di audit completi. Il compromesso: te lo ospiti da solo. Non esiste un livello cloud gestito.