Perché scegliere Potato?

Self-hosted, gratis: LangSmith, Galileo, Encord e Labelbox mettono il self-hosting stesso dietro un contratto enterprise. L'installazione on-premise è un'aggiunta che si negozia con il commerciale, non un'edizione che si scarica.

Tutte le funzioni, nessun piano a pagamento: L'edizione gratuita di Label Studio non include alcuna metrica di accordo, e nemmeno il piano Starter ospitato da 99 $ al mese. Accordo, benchmark e pre-etichettatura con LLM sono funzioni Enterprise, con prezzo su richiesta. CVAT regala honeypot e task di ground truth, ma tiene i report di qualità per i team paganti.

Un solo strumento per corpora e tracce di agenti: Tutte le piattaforme di valutazione di agenti qui presenti sono vincolate alle tracce. Nessuna sa etichettare il sentiment di un corpus, marcare un'entità o somministrare un questionario.

Grafo multiagente che si può annotare: Diversi strumenti disegnano un grafo di interazione tra agenti. Sono tutte viste di debug in sola lettura. In Potato gli agenti e i passaggi di consegne sono oggetti che una persona etichetta.

Attribuzione dei fallimenti etichettata da persone: Galileo deduce i fallimenti nei passaggi di consegne con un LLM e Labelbox valuta i passi della traiettoria. Nessuno dei due raccoglie il riferimento umano con cui quelle deduzioni andrebbero confrontate.

Accordo corretto per il caso (κ, α): Gli altri misurano l'accordo come percentuale di sovrapposizione, IoU o voto di maggioranza. Prodigy offre l'α di Krippendorff e l'AC2 di Gwet, ma non ha un piano gratuito. Langfuse calcola il κ di Cohen tra una persona e un giudice, non su un gruppo di annotatori.

Export SFT, DPO e process reward: Parziale significa solo JSONL in stile SFT, senza formato per coppie di preferenza o process reward.

Accordo corretto per il caso sulla geometria: L'affermazione più forte di questa tabella. Il motore di consenso di CVAT e la fase di consenso di V7 confrontano gli annotatori con l'IoU grezzo rispetto a una soglia per classe, e l'elenco di metriche di Label Studio Enterprise è corrispondenza esatta, differenza numerica, IoU e sovrapposizione di span. Nessuno corregge per il caso, e questo conta: su un corpus di oggetti grandi e centrati l'IoU medio si aggira sullo 0,95 chiunque abbia annotato.

Accordo su quando accade un evento: IoU temporale e accordo sui confini, con la tolleranza di abbinamento riportata come sweep anziché a una singola soglia. L'accordo a 0,25 s e a 2 s sono affermazioni diverse sugli stessi dati.

Telemetria del tracciamento (latenza di accettazione, revisioni): Tempo per forma, dinamica del tratto, numero di revisioni e latenza nell'accettare un suggerimento dell'IA. Conta perché l'accordo aumenta quando gli annotatori approvano le pre-etichette senza leggerle: il tempo è l'unico segnale che distingue la revisione dall'accettazione. Non viene registrata alcuna coordinata.

Nuvole di punti 3D e cuboidi: Lo fa anche CVAT, e gli specialisti del 3D (Segments.ai, Kognic, Supervisely) vanno oltre, con sequenze di nuvole di punti e propagazione delle tracce che Potato non ha. Ciò che Potato aggiunge è l'IoU 3D ruotato esatto tra annotatori.

Funziona senza richieste in uscita: Ogni foglio di stile, script, font e icona viene servito dall'installazione, su tutti e 14 i template, verificato dal vivo con 62 richieste e zero esterne. I modelli si trasferiscono una volta sola. «Parziale» significa auto-ospitabile, ma la pagina renderizzata continua a scaricare risorse di terze parti.

Forza lavoro di annotazione gestita: Non ce l'abbiamo. Porti i tuoi annotatori o li recluti tramite Prolific. Se ti servono 50.000 elementi etichettati entro il mese prossimo e non hai nessuno, Labelbox, Encord e Scale vendono questo, noi no.

Ospitato, nulla da gestire: Potato funziona solo self-hosted. Per alcuni team è esattamente il punto, per altri è un costo reale.