Warum Potato wählen?

Selbst gehostet, kostenlos: LangSmith, Galileo, Encord und Labelbox setzen für das Selbst-Hosting selbst einen Enterprise-Vertrag voraus. Der Betrieb im eigenen Rechenzentrum ist ein Zusatz, den man mit dem Vertrieb aushandelt, keine Edition zum Herunterladen.

Alle Funktionen, kein Bezahltarif: Die kostenlose Edition von Label Studio enthält überhaupt keine Übereinstimmungsmaße, und der gehostete Starter-Tarif für 99 $ im Monat ebenso wenig. Übereinstimmung, Benchmarks und LLM-Vorannotation sind Enterprise-Funktionen, deren Preis man erfragen muss. CVAT gibt Honeypots und Ground-Truth-Jobs kostenlos ab, behält die Qualitätsberichte aber zahlenden Teams vor.

Ein Werkzeug für Korpora und Agenten-Traces: Alle Plattformen zur Agentenauswertung hier sind auf Traces festgelegt. Keine kann ein Textkorpus nach Stimmung annotieren, eine Entität markieren oder eine Umfrage durchführen.

Multiagenten-Graph, den man annotieren kann: Mehrere Werkzeuge zeichnen einen Interaktionsgraphen. Alle sind reine Debugging-Ansichten zum Lesen. In Potato sind die Agenten und ihre Übergaben Objekte, die ein Mensch beschriftet.

Von Menschen annotierte Fehlerzuordnung: Galileo schließt Übergabefehler mit einem LLM, und Labelbox bewertet Schritte der Trajektorie. Keiner von beiden erhebt die menschliche Referenz, an der solche Schlüsse zu prüfen wären.

Zufallskorrigierte Übereinstimmung (κ, α): Die anderen messen Übereinstimmung als prozentuale Überlappung, IoU oder Mehrheitsentscheid. Prodigy liefert zwar Krippendorffs α und Gwets AC2, hat aber keinen kostenlosen Tarif. Langfuse berechnet Cohens κ zwischen einem Menschen und einem Judge, nicht über eine Gruppe von Annotatoren.

Export für SFT, DPO und Process Reward: Teilweise heißt: nur JSONL im SFT-Stil, ohne Format für Präferenzpaare oder Process Reward.

Zufallskorrigierte Übereinstimmung über Geometrie: Die stärkste einzelne Aussage in dieser Tabelle. CVATs Konsens-Engine und V7s Konsens-Stufe vergleichen Annotierende mit rohem IoU gegen einen Schwellenwert pro Klasse, und die Metrikliste von Label Studio Enterprise umfasst exakte Übereinstimmung, numerische Differenz, IoU und Span-Überlappung. Keines davon korrigiert den Zufall, und das zählt: Auf einem Korpus großer, mittig platzierter Objekte liegt der mittlere IoU bei etwa 0,95, egal wer annotiert hat.

Übereinstimmung darüber, wann ein Ereignis eintritt: Zeitliches IoU und Grenzübereinstimmung, wobei die Matching-Toleranz als Sweep statt bei einem einzelnen Schwellenwert berichtet wird. Übereinstimmung bei 0,25 s und bei 2 s sind unterschiedliche Aussagen über dieselben Daten.

Zeichentelemetrie (Annahmelatenz, Korrekturen): Zeit pro Form, Strichdynamik, Anzahl der Korrekturen und die Latenz beim Annehmen eines KI-Vorschlags. Das ist wichtig, weil die Übereinstimmung steigt, wenn Annotierende Vorannotationen ungeprüft übernehmen — die Zeit ist dann das einzige Signal, das Prüfen von Durchwinken trennt. Es werden keinerlei Koordinaten aufgezeichnet.

3D-Punktwolken und Quader: CVAT kann das ebenfalls, und die 3D-Spezialisten (Segments.ai, Kognic, Supervisely) gehen weiter, mit Punktwolken-Sequenzen und Track-Propagation, die Potato nicht hat. Potatos Beitrag ist das exakte rotierte 3D-IoU zwischen Annotierenden.

Läuft ohne ausgehende Anfragen: Jedes Stylesheet, Skript, jede Schrift und jedes Icon wird aus der Installation ausgeliefert, über alle 14 Templates hinweg, live geprüft mit 62 Anfragen und null externen. Modelle werden einmalig übertragen. „Teilweise“ heißt selbst hostbar, aber die gerenderte Seite lädt weiterhin Ressourcen von Dritten.

Betreute Annotator-Belegschaft: Haben wir nicht. Sie bringen Ihre eigenen Annotatoren mit oder rekrutieren über Prolific. Wer bis nächsten Monat 50.000 Elemente annotiert braucht und niemanden dafür hat, bekommt das bei Labelbox, Encord und Scale, nicht bei uns.

Gehostet, nichts zu betreiben: Potato läuft nur selbst gehostet. Für manche Teams ist genau das der Sinn der Sache, für andere ein echter Aufwand.