ブログ

How to Collect Process Reward Data for Training Better Coding Agents

Step-by-step guide to collecting per-step reward signals for PRM training using Potato. Covers first-error mode, per-step annotation, and export to training pipelines.

Mar 26, 202611 min read

Watch, Pause, and Rewind: Live Coding Agent Observation in Potato

Tutorial for setting up live coding agent observation with Ollama, Anthropic API, or Claude Agent SDK. Includes pause, rollback, branching, and trajectory export.

Mar 25, 202612 min read

Guides14 min read

Comparing AI Agents Side by Side: Binary, Scale, and Multi-Dimension Modes

Set up pairwise agent comparison in Potato with three modes: binary preference, continuous scale, and per-dimension multi-criteria judgment with required justification.

Mar 24, 2026

Guides15 min read

Per-Step Error Localization: Using Trajectory Evaluation to Find Where Agents Fail

Use Potato's trajectory_eval schema for per-step error localization with hierarchical error taxonomies, severity scoring, and running score tracking across agent traces.

Mar 23, 2026

Tutorials12 min read

GitHub PR-Style Code Review for AI Coding Agents

Set up GitHub PR-style code review annotation in Potato with inline diff comments, file-level quality ratings, and approve or reject verdicts for coding agent output.

Mar 22, 2026

Guides13 min read

Potato vs LangSmith and Langfuse for Agent Evaluation: A Practical Comparison

Compare Potato with LangSmith and Langfuse for AI agent evaluation across trace rendering, annotation, coding agent support, live observation, pricing, and self-hosting.

Mar 21, 2026

Stay updated

Get notified about new tutorials, releases, and community highlights.

MT-Bench-Style Rubric Evaluation for AI Agents in Potato

Set up multi-criteria rubric evaluation with custom criteria, configurable rating scales, and dimension weights for systematic AI agent evaluation using Potato's rubric_eval.

Mar 20, 202616 min read

Release

Potato 2.4.0: Web Agent Annotation, Live Evaluation, and HuggingFace Integration

Potato 2.4.0 ships web agent trace review, real-time live agent evaluation, an LLM chat sidebar, HuggingFace Hub export, webhooks, SSO/OAuth, and five active learning strategies.

Mar 17, 20265 min read

Announcements5 min read

Potato 2.3: エージェント型アノテーション、Solo Mode、そして人間による評価の未来

Potato 2.3.0は、12種類のトレース形式コンバーター付きエージェント型アノテーション、人間とLLMの協調ラベリングのためのSolo Mode、Best-Worst Scaling、SSO/OAuth、Parquetエクスポート、15のデモプロジェクトを導入します。

Mar 9, 2026

Guides6 min read

AIエージェントの評価：エージェントトレースの人間アノテーション完全ガイド

Potatoのエージェント型アノテーション機能を使用して、トレースのインポートからアノテーションスキーマ設計まで、AIエージェント出力の人間評価をセットアップする方法を学びます。

Mar 8, 2026

Tutorials5 min read

Solo Mode：1人のアノテーターで10,000件のラベリングを行う方法

PotatoのSolo Modeを使用して、人間とLLMの協調で大規模データセットを効率的にラベリングし、アノテーションコストを最大90%削減するステップバイステップチュートリアル。

Mar 7, 2026

Webブラウジングエージェントのアノテーション：WebArenaトレースから人間評価まで

PotatoのWeb Agent Trace Displayを使用して、ステップバイステップのスクリーンショット、SVGオーバーレイ、ステップごとのアノテーションスキーマで自律Webブラウジングエージェントを評価する方法。

Mar 6, 2026

Potato 2.2：イベント、エンティティリンキング、エクスポート、55の調査票

Potato 2.2.0は9つの新しいアノテーションスキーマ、プラグ可能なエクスポートシステム、MACE能力推定、55の検証済み調査票、リモートデータソースを追加します。

Feb 20, 20262 min read

Potato 2.1：インスタンス表示、ビジュアルAI、スパンリンキング

Potato 2.1.0は、インスタンス表示システム、画像・ビデオアノテーションのビジュアルAIサポート、スパンリンキング、マルチフィールドスパン、レイアウトカスタマイズを導入します。

Feb 14, 20263 min read

ビジュアルAIを使った画像・ビデオアノテーションの高速化

YOLO、Ollama、OpenAI、Claudeを使用した画像・ビデオタスクのAI搭載オブジェクト検出、事前アノテーション、分類の設定方法。

Feb 14, 2026

Guides6 min read

Label StudioからPotatoへの移行

Label Studioのプロジェクト、テンプレート、アノテーションをPotato形式に手動変換するためのステップバイステップガイド。

Jan 20, 2026

Guides2 min read

Prolificでのアノテーション研究の実施

支払いと品質管理を含む、クラウドソーシングアノテーションのためのPotatoとProlificの統合完全ガイド。

Jan 20, 2026

法律文書アノテーションのベストプラクティス

契約書、裁判文書、規制関連書類をドメイン専門知識を活かしてアノテーションするための専門的テクニック。

Jan 18, 2026

Potatoを使った医療画像アノテーション

Potatoの標準的な画像アノテーション機能を使用した医療画像アノテーションのベストプラクティス。

Jan 18, 20263 min read

セグメンテーションタスクのためのポリゴンアノテーション

画像セグメンテーション用のポリゴン描画ツールの設定方法、複雑な形状やオーバーラップ領域のコツ。

Jan 18, 20263 min read

Guides2 min read

能動学習：よりスマートにアノテーションする

不確実性サンプリングを使用してアノテーションの優先順位を決め、ラベリング作業を最大50%削減する方法。

物体検出のためのバウンディングボックス描画

ラベルカラーとバリデーションを含む、コンピュータビジョンタスクのためのバウンディングボックスアノテーション設定の完全ガイド。

Guides4 min read

Hugging Face Datasetsへのアノテーションエクスポート

Potatoアノテーションをモデルトレーニングと共有のためにHugging Faceデータセット形式に変換する方法。

Tutorials6 min read

画像比較と選好タスク

選好ランキング、A/Bテスト、品質評価のためのサイドバイサイド画像比較インターフェースの構築方法。

Potato 2.0の紹介：AI搭載アノテーション

AI搭載機能、マルチメディアサポート、能動学習機能を備えたPotato 2.0のリリースを発表します。

Jan 15, 20261 min read

自動キーワードハイライト

AI搭載のキーワードハイライトを設定して、アノテーターの注意を重要な用語やフレーズに向ける方法。

Jan 15, 20262 min read

Guides3 min read

Amazon Mechanical Turkへのデプロイ

資格テストと承認ワークフローを含む、MTurkでPotatoアノテーションタスクを実行するためのステップバイステップガイド。

感情分析タスクの作成

ラジオボタン、ツールチップ、キーボードショートカットを備えた効率的なラベリングのための完全な感情分類タスクの構築。

コンテンツモデレーションアノテーションの設定

アノテーターのウェルビーイングを考慮した、毒性検出、ヘイトスピーチ分類、センシティブコンテンツラベリングのためのPotato設定方法。

Jan 12, 2026

Guides4 min read

PotatoのカスタムHTMLテンプレート

HTMLテンプレート、CSSスタイリング、JavaScriptインタラクティビティを使用したカスタムアノテーションインターフェースの作成方法。

Jan 12, 2026

発音評価アノテーション

オーディオ再生とリッカートスケールを使用した発音品質評価のための語学学習アノテーションタスクの構築。

Jan 12, 20265 min read

話者ダイアライゼーションアノテーション

オーディオ波形、タイムスタンプマーカー、話者ラベル割り当てを使った話者識別タスクの構築。

Jan 12, 20263 min read

フレーム単位のコントロールによるビデオアノテーション

精密なフレームナビゲーション、タイムスタンプマーカー、時間的イベントラベリングを備えたビデオアノテーションタスクの設定。

Jan 12, 2026

Tutorials4 min read

音声イベント検出とタグ付け

タイムスタンプスパンを使用した音声、音楽、拍手、環境音などの特定の音の検出アノテーションの設定方法。

Jan 10, 2026

Tutorials1 min read

5分でPotatoを始める

インストールから初めてのラベル付きデータまで、Potatoで最初のアノテーションプロジェクトを設定するクイックガイド。

Jan 10, 2026

Guides4 min read

アノテーター間一致度の測定

アノテーションプロジェクトでのCohenのKappa、FleissのKappa、KrippendorffのAlphaの計算と解釈方法。

Jan 10, 2026

PotatoがEMNLP 2022で発表されました

Potatoに関する論文がEMNLP 2022に採択されました。ツールの背景にある研究と、研究での引用方法について紹介します。

Jan 10, 20261 min read

クラウドソーシングアノテーションの品質管理

アノテーションプロジェクトにおけるアノテーション品質を確保するためのベストプラクティス。Potatoおよびそれ以外で実装できる実践的な戦略を含みます。

Jan 10, 20264 min read

Potatoによる画像分類

サムネイルプレビュー、ズームコントロール、マルチラベルサポートを備えた画像分類タスクの設定方法。

Guides2 min read

LLMを活用したスマートアノテーションヒントの統合

OpenAI、Claude、またはGeminiを使用して、アノテーターにインテリジェントなヒントと提案を提供する方法を学びます。

Tutorials4 min read

音楽ジャンル分類アノテーション

波形表示、30秒プレビュー、階層的ジャンルラベルを使った音楽アノテーションタスクの作成方法。

Potatoのサーバーデプロイ

Docker、クラウドプラットフォーム、SSL設定を含むPotatoの本番デプロイガイド。

マルチオブジェクトトラッキングアノテーション

マルチオブジェクトトラッキングアノテーションの概念と、Potatoのビデオアノテーション機能が基本的なトラッキングワークフローをサポートする方法の概要。

Jan 6, 20261 min read