Neuigkeiten, Anleitungen und Updates vom Potato-Team.
Ein Entscheidungsmodell bewertet jede Option in einem Forward Pass, ohne Text zu schreiben. Bei Fragen mit wenigen Optionen dient es als erste Stufe vor einem LLM.
Sechs Annotationswerkzeuge: wie Modell- und LLM-Labels ins Projekt kommen, wie Menschen sie prüfen und was jedes über die Fehlerrate der Maschinenlabels berichtet.
Label Studio, CVAT, doccano, Argilla, INCEpTION und Potato im Vergleich: Dienste, Datenbank, Anmeldung und Backups beim Selbsthosten, dazu Hosts nach Kosten.
Lassen Sie sich über neue Tutorials, Releases und Highlights aus der Community benachrichtigen.
Many robot episodes end in partial success, and binary labels discard it. Annotation needs a timeline, min/max downsampling, and relabeling.
Click-to-segment and text prompting run in the browser with no GPU, using a verified encoder contract, a measured quantization, and a hand-written tokenizer.
Ein LLM-Judge ist nur so vertrauenswürdig wie die menschlichen Labels, gegen die er validiert wurde. Die Gedankenkette eines Menschen neben die eines Modells legen, beim selben Element, und den Judge gegen Labels prüfen, die ihre eigenen Konfidenzintervalle mitbringen.
Potato 2.7.1 liest 21 Transkript- und Untertitelformate direkt, lädt sie aus Begleitdateien neben den Medien und bringt einen Konverter mit, der aus einem Ordner voller ASR-Ausgaben eine annotationsfertige Datendatei macht.
When who annotates matters, use a validated questionnaire rather than one you invented. Potato ships 55 survey instruments for prestudy and poststudy phases.
Record the curation rationale, annotator pool, guidelines, and intended use when you release an annotation dataset, and see how much of it Potato captures.
Potato 2.6 ist da: QDA-Modus für qualitative Kodierung, ein Kalibrierungs- und Abgleich-Workflow für LLM-as-judge, Trajektorien-Bearbeitung, die SFT- und DPO-Trainingsdaten erzeugt, ein 3-mal schnellerer Start und eine Neulizenzierung auf GPL-3.0-or-later.
Die 2.6.x-Reihe macht Potato zu einer vollständigen, kostenlosen Plattform zur Agentenbewertung: Trace-Ingestion aus OpenTelemetry, LangGraph, CrewAI und AutoGen, Annotation von Multi-Agent-Teams mit einem anklickbaren Interaktionsgraphen, multimodale Agentenschemata für GUI, Sprache und Video sowie eine Modellarena, CI-Gating und Kuratierung.
Die meisten Agentenbewertungen enden bei einer Punktzahl. Das trajectory_edit-Schema von Potato 2.6 lässt Annotatoren einen falschen Schritt umschreiben, statt ihn zu bewerten, und exportiert jede Korrektur als Ziele für überwachtes Fine-Tuning und als DPO-Präferenzpaare.
Annotating an agent's multi-step trace is harder than labeling a tweet. A guide to designing the taxonomy, measuring step-level agreement, and adjudicating disagreement, with a Potato config.
How to write an annotation codebook an LLM can actually follow, validate its labels against human coders, and keep a person in the loop, with a worked Potato config.
Spüren Sie Halluzinationen und Faktenfehler von Modellen auf, indem Sie die genauen Wörter hervorheben und im MQM-Stil mit Span-Annotation in Potato kennzeichnen, was falsch ist.
Anleitung zur Einrichtung der Live-Beobachtung von Coding-Agenten mit Ollama, der Anthropic API oder dem Claude Agent SDK, samt Pause, Rollback, Verzweigung und Export der Trajektorien.
Paarweisen Agentenvergleich in Potato einrichten, mit drei Modi: binäre Präferenz, kontinuierliche Skala und mehrdimensionales Urteil je Kriterium mit verpflichtender Begründung.
Potato 2.4.0 bringt die Überprüfung von Web-Agenten-Traces, Live-Evaluierung von Agenten in Echtzeit, eine LLM-Chat-Seitenleiste, Export zum HuggingFace Hub, Webhooks, SSO/OAuth und fünf Active-Learning-Strategien.
Potato 2.3.0 bringt Solo Mode für gemeinsames Labeling durch Mensch und LLM, Annotation von Agenten-Traces, Best-Worst Scaling, SSO- und OAuth-Logins, Parquet-Export und 15 Demo-Projekte.
Potato 2.1.0 bringt das System zur Instanzanzeige, KI-Unterstützung für Bild- und Videoannotation, Span-Verknüpfung, feldübergreifende Spans und anpassbare Layouts.
KI-gestützte Objekterkennung, Pre-Annotation und Klassifizierung für Bild- und Videoaufgaben mit YOLO, Ollama, OpenAI und Claude einrichten.
So konfigurierst du die Polygon-Werkzeuge in Potato für die Bildsegmentierung, mit Hinweisen zu komplexen Formen, überlappenden Regionen, mehreren Klassen und Export nach COCO.
Wie Potato die Annotationswarteschlange nach Klassifikator-Unsicherheit umsortiert, mit Konfiguration für die Sampling-Einstellungen, den Cold Start und genug zufällige Elemente in der Mischung.
Schlüsselwort-Hervorhebung in Potato einrichten, mit einer festen Schlüsselwortdatei oder einem LLM-Schlüsselwortassistenten, einschließlich Farben pro Label, zufälliger Ablenkwörter und Zwischenspeicherung der Antworten.
Amazon Mechanical Turk wurde am 30. September 2026 geschlossen. Wie eine Potato-Studie, die auf MTurk lief, zu Prolific, SONA oder CloudResearch Connect umzieht und was bleibt.
So baust du in Potato eine Aufgabe zur Sprechererkennung: interaktive Audio-Wellenformen, Marker mit Zeitstempeln, Zuweisung von Sprecherlabels und Messung der Inter-Annotator-Übereinstimmung.
So richtest du Video-Annotation in Potato ein: Navigation Bild für Bild, Marker mit Zeitstempeln, zeitliches Labeln von Ereignissen und Klassifikation je Segment über Radio- oder Span-Schemata.
So richtest du Bildklassifikation in Potato ein: Bilder mit instance_display anzeigen, Labels mit radio- und multiselect-Schemata erfassen, Qualitätsprüfungen inklusive.
Erfahren Sie, wie Sie OpenAI, Claude oder Gemini nutzen, um Ihren Annotatoren intelligente Hinweise und Vorschläge bereitzustellen.
Schritt-für-Schritt-Anleitung für eine Named-Entity-Recognition-Aufgabe in Potato, mit Span-Konfiguration, Labelfarben, überlappenden Spans, Tastenkürzeln und CoNLL-Export.
Ein genauer Blick auf JSON und JSONL in Potato: wie du Instanzen für Text, Bild, Audio, Video und multimodale Annotation strukturierst, mit echten Konfigurationsbeispielen.