Potatoチームからのニュース、チュートリアル、最新情報。
A full walkthrough from a folder of Whisper output to labeled speaker turns: choosing an annotation unit, handling diarization, writing the config, running the task, and exporting with the time alignment intact.
Majority vote throws away most of what your annotators told you. Item response theory gives every label a posterior probability and a confidence interval, estimates annotator ability and item difficulty, and finds broken codebook entries, with no gold labels and no LLM.
Potato 2.7 adds labels with error bars, live norming rooms, counterfactual boundary probes, peer-prediction scoring, local voice rationales, one-command dataset reports, and mobile annotation, none of which need an LLM. Plus multi-agent and multimodal agent evaluation.
Get notified about new tutorials, releases, and community highlights.
Potato におけるコンピュータ操作および GUI エージェントの人手評価のウォークスルー：各アクションを判定し、スクリーンショット上でクリックグラウンディングを確認し、ツール呼び出しを 1 つずつレビューする。
Potato を使ってマルチエージェント LLM システムが失敗した理由を見つける方法：相互作用グラフ、失敗の帰属、引き継ぎレビュー、エージェント別スコアカード、ツール競合タイムライン、創発的振る舞いのタグ付け。
エージェント評価において、人間によるレビュー時間は最も希少なリソースです。Potato 2.6 はシグナルベースのトリアージキューとジャッジ＝人間の整合性を組み合わせ、最も問題のあるトレースを優先的に人間へ届け、LLM ジャッジを継続的に改善します。
アノテーターのアイデンティティはラベルを左右するため、デモグラフィック属性は収集する価値があります。ただし同意、配慮、そして明確な理由があってこそです。何を尋ね、何に手を出さず、Potatoでどう実装するかを解説します。
A practical guide to deciding when an LLM can annotate your data, where model annotators fail, and how to combine automation with human verification in Potato.
オープンソースのデータアノテーションツールの選び方、選択を実際に絞り込む問いとは何か、そして Label Studio、Prodigy、Doccano、brat、Argilla の中で Potato がどこに位置づけられるかを率直に見ていきます。
Potato now supports coding agent annotation with diff rendering, terminal output display, and process reward schemas. Import traces from Claude Code, Aider, and SWE-Agent.
Step-by-step guide to collecting per-step reward signals for PRM training using Potato. Covers first-error mode, per-step annotation, and export to training pipelines.
Compare Potato with LangSmith, Langfuse, Labelbox, and Scale AI for agent evaluation: trace rendering, per-step and multi-agent annotation, multimodal-agent review, coding agents, live observation, pricing, and self-hosting.
Set up multi-criteria rubric evaluation with custom criteria, configurable rating scales, and dimension weights for systematic AI agent evaluation using Potato's rubric_eval.
PotatoのWeb Agent Trace Displayを使用して、ステップバイステップのスクリーンショット、SVGオーバーレイ、ステップごとのアノテーションスキーマで自律Webブラウジングエージェントを評価する方法。
Potato 2.2.0は9つの新しいアノテーションスキーマ、プラグ可能なエクスポートシステム、MACE能力推定、55の検証済み調査票、リモートデータソースを追加します。
契約書、裁判文書、規制関連書類をドメイン専門知識を活かしてアノテーションするための専門的テクニック。
Potatoの標準的な画像アノテーション機能を使用した医療画像アノテーションのベストプラクティス。
選好ランキング、A/Bテスト、品質評価のためのサイドバイサイド画像比較インターフェースの構築方法。
AI搭載機能、マルチメディアサポート、能動学習機能を備えたPotato 2.0のリリースを発表します。
HTMLテンプレート、CSSスタイリング、JavaScriptインタラクティビティを使用したカスタムアノテーションインターフェースの作成方法。
オーディオ再生とリッカートスケールを使用した発音品質評価のための語学学習アノテーションタスクの構築。
アノテーションプロジェクトでのCohenのKappa、FleissのKappa、KrippendorffのAlphaの計算と解釈方法。
アノテーションプロジェクトにおけるアノテーション品質を確保するためのベストプラクティス。Potatoおよびそれ以外で実装できる実践的な戦略を含みます。