Notizie, tutorial e aggiornamenti dal team di Potato.
Un modello decisionale valuta ogni opzione in un solo forward pass e non scrive testo. Funziona come primo livello prima di un LLM su domande con poche opzioni.
Sei strumenti di annotazione a confronto: come entrano le etichette di modelli e LLM, come le revisionano le persone, che cosa riportano sui tassi di errore.
Label Studio, CVAT, doccano, Argilla, INCEpTION e Potato a confronto su servizi, database, login e backup in self-hosting, più gli host in base al costo.
Ricevi una notifica su nuovi tutorial, release e novità dalla comunità.
Many robot episodes end in partial success, and binary labels discard it. Annotation needs a timeline, min/max downsampling, and relabeling.
Click-to-segment and text prompting run in the browser with no GPU, using a verified encoder contract, a measured quantization, and a hand-written tokenizer.
Un giudice LLM è affidabile solo quanto le etichette umane con cui l'hai validato. Metti la catena di pensiero di una persona accanto a quella di un modello sullo stesso elemento, e verifica il tuo giudice rispetto a etichette che portano con sé i propri intervalli di confidenza.
Potato 2.7.1 legge direttamente 21 formati di trascrizione e sottotitoli, li carica da file affiancati ai tuoi media e include un convertitore che trasforma una cartella di output di riconoscimento vocale in un file di dati pronto per l'annotazione.
When who annotates matters, use a validated questionnaire rather than one you invented. Potato ships 55 survey instruments for prestudy and poststudy phases.
Record the curation rationale, annotator pool, guidelines, and intended use when you release an annotation dataset, and see how much of it Potato captures.
Potato 2.6 è disponibile: Modalità QDA per la codifica qualitativa, un flusso di calibrazione e allineamento di LLM-as-judge, la modifica delle traiettorie che produce dati di addestramento SFT e DPO, un avvio 3 volte più rapido e una nuova licenza GPL-3.0-or-later.
La linea 2.6.x trasforma Potato in una piattaforma completa e gratuita per la valutazione degli agenti: ingestione di trace da OpenTelemetry, LangGraph, CrewAI e AutoGen, annotazione di team multi-agente con un grafo di interazione cliccabile, schemi per agenti multimodali per GUI, voce e video, oltre a un'arena di modelli, gating in CI e curation.
La maggior parte delle valutazioni degli agenti si ferma a un punteggio. Lo schema trajectory_edit di Potato 2.6 permette agli annotatori di riscrivere un passo errato anziché valutarlo, ed esporta ogni correzione come target di fine-tuning supervisionato e coppie di preferenza per il DPO.
Annotating an agent's multi-step trace is harder than labeling a tweet. A guide to designing the taxonomy, measuring step-level agreement, and adjudicating disagreement, with a Potato config.
How to write an annotation codebook an LLM can actually follow, validate its labels against human coders, and keep a person in the loop, with a worked Potato config.
Individua le allucinazioni dei modelli e gli errori fattuali evidenziando le parole esatte ed etichettando ciò che non va, in stile MQM, con l'annotazione di segmenti in Potato.
Tutorial per configurare l'osservazione dal vivo dei coding agent con Ollama, l'API di Anthropic o il Claude Agent SDK. Comprende pausa, rollback, branching ed esportazione delle traiettorie.
Configura il confronto a coppie tra agenti in Potato con tre modalità: preferenza binaria, scala continua e giudizio multicriterio per dimensione con giustificazione obbligatoria.
Potato 2.4.0 porta la revisione delle trace di agenti web, la valutazione dal vivo degli agenti in tempo reale, una barra laterale di chat LLM, l'esportazione su HuggingFace Hub, i webhook, SSO/OAuth e cinque strategie di active learning.
Potato 2.3.0 aggiunge Solo Mode per l'etichettatura congiunta tra umano e LLM, l'annotazione di tracce di agenti, Best-Worst Scaling, login SSO e OAuth, l'esportazione Parquet e 15 progetti demo.
Potato 2.1.0 porta il sistema di visualizzazione delle istanze, il supporto dell'AI visiva per l'annotazione di immagini e video, il collegamento tra span, gli span su più campi e la personalizzazione del layout.
Configura il rilevamento di oggetti assistito dall'AI, la pre-annotazione e la classificazione per task su immagini e video con YOLO, Ollama, OpenAI e Claude.
Come configurare gli strumenti di disegno dei poligoni in Potato per la segmentazione di immagini, con consigli su forme complesse, regioni sovrapposte, poligoni multi-classe ed esportazione in formato COCO.
Come Potato riordina la coda di annotazione in base all'incertezza del classificatore, con la configurazione del campionamento, del cold start e di quanti elementi casuali tenere nel mix.
Come configurare l'evidenziazione delle parole chiave in Potato con un file di parole chiave fisso o con un assistente LLM, tra colori per etichetta, distrattori casuali e caching delle risposte.
Amazon Mechanical Turk ha chiuso il 30 settembre 2026. Come uno studio Potato che girava su MTurk passa a Prolific, SONA o CloudResearch Connect, e cosa resta invariato.
Come costruire in Potato un task di identificazione dei parlanti, con forma d'onda interattiva, marcatori temporali, assegnazione delle etichette dei parlanti e misura dell'accordo tra annotatori.
Come impostare in Potato l'annotazione video, con navigazione fotogramma per fotogramma, marcatori temporali, etichettatura degli eventi nel tempo e classificazione per segmento con schemi radio o span.
Imposta la classificazione di immagini in Potato mostrando le immagini con instance_display e raccogliendo le etichette con schemi radio e multiselect, controlli di qualità inclusi.
Scopri come usare OpenAI, Claude o Gemini per fornire suggerimenti e hint intelligenti ai tuoi annotatori.
Guida passo passo per costruire in Potato un task di riconoscimento di entità nominate, con configurazione dell'annotazione di span, colori delle etichette, span sovrapposti, scorciatoie da tastiera ed esportazione CoNLL.
Uno sguardo ravvicinato ai formati JSON e JSONL in Potato: come strutturare gli elementi per l'annotazione di testo, immagini, audio, video e contenuti multimodali, con esempi di configurazione reali.