Notizie, tutorial e aggiornamenti dal team di Potato.
Potato 2.9 imports brat, doccano, Prodigy, CoNLL, and REFI-QDA projects, transcribes and diarizes audio locally, and records where each image shape came from.
Mean IoU between annotators can stay near 0.95 even for one who never looks. Potato reports σ, which estimates the chance baseline from other images.
Potato 2.8 adds computer vision, deep zoom, 3D point clouds, depth maps, robot episodes, and video-model evaluation, with chance-corrected agreement for each.
Get notified about new tutorials, releases, and community highlights.
I team di annotazione fanno già sessioni di norming e già vorrebbero sapere come ragionano i loro annotatori. Le stanze multiplayer misurano la riunione di calibrazione con un indicatore di accordo dal vivo; la modalità Think-Aloud registra il ragionamento ad alta voce, in locale e senza alcun LLM.
Gli standard gold costano, si lasciano riconoscere e verificano solo gli elementi che ti sei ricordato di piazzare. Due alternative, i punteggi per peer prediction e le sonde controfattuali sui confini, individuano gli annotatori distratti e le linee guida rotte senza un solo elemento piazzato.
Il nostro articolo su Potato 2.0 è nelle System Demonstrations di ACL 2026. Ecco cosa contiene e come citare Potato nel tuo lavoro.
Una guida pratica alla valutazione umana per agenti parlati, video e documentali in Potato: valutare la gestione dei turni su una timeline a doppia traccia, fare grounding degli eventi video con IoU dal vivo, taggare gli errori del parlato e marcare la struttura delle tabelle.
Annotation pipelines are built to erase disagreement, but on subjective tasks the disagreement is the data. A guide to telling genuine label variation from error, and keeping it in Potato.
Etichettare tutto in doppio costa caro; etichettare tutto una sola volta ti lascia cieco. Potato 2.6 ti consente di assegnare un annotatore alla maggior parte degli item e tre a un campione stratificato, con potenziamenti adattivi e instradamento automatico all'arbitrato.
Usare un LLM per valutare gli output di un modello è facile. Sapere se crederci è la parte difficile. Una panoramica della calibrazione umana in cieco di Potato 2.6: voto su k campioni, kappa di Cohen e di Fleiss, ed errore di calibrazione atteso.
Uno sguardo alla modalità QDA, lo spazio di lavoro per l'analisi dei dati qualitativi in arrivo con Potato 2.6: un libro dei codici vivo, codifica in vivo, memo analitici, casi e ricerca full-text su un intero corpus.
Decidere il numero di annotatori e la sovrapposizione per un progetto di annotazione: regole pratiche per task oggettivi e soggettivi, il compromesso tra copertura e sovrapposizione, e come impostarlo in Potato.
Una guida pratica per valutare la generazione aumentata dal recupero: valuta separatamente la pertinenza del recupero e la fedeltà della risposta, e contrassegna le affermazioni non supportate con l'annotazione di segmenti in Potato.
Usa lo schema trajectory_eval di Potato per localizzare gli errori passo per passo, con tassonomie gerarchiche degli errori, punteggi di gravità e monitoraggio del punteggio corrente lungo le tracce degli agenti.
Configura in Potato l'annotazione di code review in stile PR di GitHub, con commenti inline sui diff, valutazioni di qualità a livello di file e verdetti di approvazione o rifiuto per l'output dei coding agent.
Come configurare in Potato la valutazione umana degli output di agenti AI, dall'importazione delle tracce e dalla progettazione di schemi a livello di traccia e di passo fino all'analisi dei risultati esportati.
Tutorial passo per passo su Solo Mode di Potato: etichetta tu stesso un insieme seed, lascia che un LLM etichetti il resto e usa i controlli di accuratezza per decidere quando il risultato è abbastanza buono per fermarti.
Come migrare da Label Studio a Potato convertendo la configurazione del progetto, gli schemi di annotazione e i dati esportati, con una guida passo passo sui tipi di annotazione più comuni.
Condurre uno studio di annotazione con Potato su Prolific con login diretto da URL, codice di completamento, controlli di attenzione e monitoraggio degli invii tramite API.
Crea in Potato un task di rilevamento di oggetti, da una configurazione iniziale con tre etichette a una da produzione per riprese di guida, poi esporta in COCO o YOLO.
Come convertire le annotazioni di Potato nel formato Hugging Face Datasets: struttura dell'export JSON, creazione della dataset card, caricamento sull'Hub e uso con l'addestramento in transformers.
Come costruire un task completo di classificazione del sentiment, con pulsanti radio, tooltip e scorciatoie da tastiera per etichettare in fretta.
Come configurare Potato per il rilevamento della tossicità, la classificazione dell'incitamento all'odio e l'etichettatura di contenuti sensibili, tenendo conto del benessere degli annotatori.
Come impostare un'annotazione per rilevare suoni specifici come parlato, musica, applausi o rumori ambientali, usando span temporali.
Una guida rapida per configurare il tuo primo progetto di annotazione con Potato, dall'installazione ai tuoi primi dati etichettati.
Come creare un task di annotazione musicale in Potato: visualizzazione della forma d'onda, riproduzione di anteprime da 30 secondi, alberi gerarchici di generi e confronti a coppie tra preferenze.
Eseguire Potato in produzione dietro nginx con TLS, in Docker o su una VM, e perché un server Potato gira come un unico processo invece che con più worker.
Come configurare in Potato un task di revisione delle trascrizioni audio, con forma d'onda, riproduzione a velocità variabile e correzione del testo in linea per valutare la qualità dell'ASR.
Il nostro articolo su Potato è stato accettato a EMNLP 2022. Ecco la ricerca dietro lo strumento e come citarlo nei tuoi lavori.