ブログ

Name: Potato
Author: Potato

Potatoチームからのニュース、チュートリアル、最新情報。

GuidesSep 9, 2026

一致度では追認を捉えられない

アノテーターが読まずにモデルの事前ラベルを受け入れると、アノテーター間一致度は上がります。アノテーションから計算されるあらゆる品質指標が改善します。残された信号は所要時間だけです。

Potato Team1 min read

Guides1 min read

「部分的」は実在の結果：ロボットのエピソードをアノテーションする

ロボットの実演はその多くが部分的成功であり、二値の結果はそれを捨ててしまいます。タイムライン型のアノテーション画面が押さえるべきこと、極小・極大を保つ間引きから事後のラベル付け直しまで。

Sep 2, 2026

Guides1 min read

ブラウザのタブで動くセグメンテーションを出荷する

クリックによるセグメンテーションとオープン語彙のテキストプロンプトは、どちらも GPU なしでクライアント側で動きます。そのために必要だったのは、検証されたエンコーダの契約、測定で選んだ量子化、そして手書きのトークナイザーでした。

Aug 27, 2026

Guides1 min read

生の IoU は一致度ではない

アノテーター間の平均 IoU は、典型的な検出コーパスでは 0.95 前後になります。画像を一度も見ていないアノテーターでも同じです。偶然一致補正された代替がどんなものか、そして IoU 距離上の Krippendorff's α がなぜ機能しないのかを説明します。

Aug 21, 2026

Announcements2 min read

Potato 2.8：何にでもアノテーションし、そして測る

Potato 2.8 はコンピュータビジョン、ギガピクセルのディープズーム、3D 点群、深度マップ、ロボットのエピソード、生成動画の評価、VLM グラウンディングに対応し、そのすべてについて偶然一致補正された一致度を報告します。

Aug 18, 2026

Announcements

執筆プロセスを読む：自由記述アノテーションのためのキーストロークロギング

Potatoは、アノテーターが何を入力したかを記録することなく、自由記述の回答がどのように作られたかを記録できるようになりました。ポーズ、修正、貼り付けから、書かれたのではなく貼り付けられた回答を検証可能な形でフラグ付けします。

Aug 6, 20262 min read

Tutorials

音声認識（ASR）の文字起こしをアノテーションする：実例で見る手順

Whisperの出力が入ったフォルダから、ラベル付きの話者ターンまでを通しでたどります。アノテーション単位の選び方、話者分離の扱い、設定の書き方、タスクの実行、そして時間のアライメントを保ったままのエクスポートまで。

Jul 31, 20262 min read

Guides1 min read

ジャッジを裁く：人間とモデルの推論を並べて見る

LLMジャッジが信頼できるのは、それを検証した相手である人間のラベルが信頼できる範囲までです。同じアイテムの上に人の思考の連鎖とモデルの思考の連鎖を並べ、それ自体が信頼区間を持つラベルに対してジャッジを確かめましょう。

Jul 27, 2026

Announcements1 min read

Potato 2.7.1：文字起こしはもうできている

Potato 2.7.1は21種類の文字起こし・字幕形式をそのまま読み、メディアの隣にあるサイドカーファイルから読み込み、音声認識出力のフォルダをアノテーション可能なデータファイルに変える変換ツールも同梱します。

Jul 26, 2026

Guides1 min read

キャリブレーション会議を計測する

アノテーションチームはすでにノーミングセッションをしていて、アノテーターが何を考えているのかも知りたいと思っています。Multiplayer Roomsはライブの一致度メーターでキャリブレーション会議を計測し、Think-Aloud モードは声に出された推論をローカルで記録します。どちらもLLMは要りません。

Jul 23, 2026

Guides1 min read

ゴールドラベルなしの品質管理

ゴールドスタンダードは作るのに手間がかかり、覚えられてしまい、しかも仕込もうと思いついたケースしかテストできません。ピア予測によるスコアリングと反実仮想の境界プローブという2つの代替手段なら、偽のアイテムを1つも仕込まずに、注意を払っていないアノテーターと壊れたガイドラインを見つけられます。

Jul 19, 2026

Stay updated

Get notified about new tutorials, releases, and community highlights.

Guides

エラーバーつきのラベル：アノテーションのための項目反応理論

多数決は、アノテーターが伝えてくれたことのほとんどを捨ててしまいます。項目反応理論を使えば、各ラベルに事後確率と信頼区間がつき、アノテーターの能力とアイテムの難易度が推定され、壊れたコードブックの項目も見つかります。ゴールドラベルもLLMも要りません。

Jul 16, 20261 min read

Announcements

Potato 2.7：ラベルがどう作られるかを測る

Potato 2.7では、エラーバーつきのラベル、ライブのノーミングルーム、反実仮想の境界プローブ、ピア予測によるスコアリング、ローカルで動く音声の根拠、1コマンドのデータセットレポート、モバイルアノテーションが加わりました。どれもLLMを必要としません。さらにマルチエージェントとマルチモーダルのエージェント評価も。

Jul 13, 20261 min read

Guides1 min read

アノテーション研究のための検証済み調査尺度：パーソナリティ、感情、ウェルビーイング、デモグラフィック

誰がアノテーションするかが重要なとき、その場で自作した質問より検証済みの調査票のほうが優れています。Potatoに標準搭載された55の調査尺度と、それぞれが研究に加わるべき場面を巡ります。

Jul 4, 2026

Guides1 min read

アノテーションデータセットを文書化する：データステートメント、データシート、そして文書化されていないデータが劣化する理由

文書化されていないアノテーションデータセットは信頼しづらく、誤用されやすいものです。データステートメント、データシート、公開前チェックリスト、そしてPotatoがそのほとんどをどう記録してくれるかについてのガイドです。

Jun 30, 2026

Announcements2 min read

Potato 2.0 が ACL 2026 で発表

Potato 2.0 に関する論文が ACL 2026 のシステムデモ部門に掲載されました。論文の内容と Potato の引用方法を紹介します。

Jun 28, 2026

Guides2 min read

音声・動画エージェントを評価する

Potato における音声、動画、ドキュメントエージェントの人手評価のウォークスルー：デュアルトラックタイムライン上でターンテイキングをスコアリングし、ライブな IoU で動画イベントをグラウンディングし、音声エラーをタグ付けし、表構造をマークする。

Jun 24, 2026

Guides

コンピュータ操作エージェントを評価する、ステップごとに

Potato におけるコンピュータ操作および GUI エージェントの人手評価のウォークスルー：各アクションを判定し、スクリーンショット上でクリックグラウンディングを確認し、ツール呼び出しを 1 つずつレビューする。

Jun 23, 20261 min read

Guides

マルチエージェントの失敗をデバッグする：ウォークスルー

Potato を使ってマルチエージェント LLM システムが失敗した理由を見つける方法：相互作用グラフ、失敗の帰属、引き継ぎレビュー、エージェント別スコアカード、ツール競合タイムライン、創発的振る舞いのタグ付け。

Jun 22, 20262 min read

Announcements2 min read

Potato 2.6：定性データ分析とエージェント評価の融合

Potato 2.6 がリリース：定性コーディングのための QDA モード、LLM-as-judge のキャリブレーションとアラインメントのワークフロー、SFT と DPO の学習データを生成する軌跡編集、3 倍速い起動、そして GPL-3.0-or-later への再ライセンス。

Jun 21, 2026

Announcements1 min read

Potato 2.6.2：完全なオープンソースのエージェント評価スイート

2.6.x 系列は Potato を完全かつ無償のエージェント評価プラットフォームへと進化させます：OpenTelemetry、LangGraph、CrewAI、AutoGen からのトレース取り込み、クリック可能な相互作用グラフを備えたマルチエージェントチーム注釈、GUI・音声・動画向けのマルチモーダルエージェントスキーマ、さらにモデルアリーナ、CI ゲーティング、キュレーションを備えます。

Jun 20, 2026

Guides1 min read

不一致はノイズではなくシグナルである：アノテーターの不一致を解消せずに残すべきとき

アノテーションのパイプラインは不一致を消し去るように作られていますが、主観的タスクではその不一致こそがデータです。本物のラベルのばらつきと誤りを見分け、それをPotatoで残すためのガイドです。

Jun 18, 2026

Guides1 min read

完全な重複を超えて：大規模データセットのための適応的なアノテーターカバレッジ

すべてに二重ラベルを付けるのは高コストで、すべてに単一ラベルを付けるのは品質が見えません。Potato 2.6 では、ほとんどの項目に1人のアノテーターを、層化抽出したサンプルに3人を割り当て、適応的なブーストと自動の調停ルーティングを利用できます。

Jun 16, 2026

Guides

ループを閉じる：エージェントのエラーとジャッジの不一致を人間に戻す

エージェント評価において、人間によるレビュー時間は最も希少なリソースです。Potato 2.6 はシグナルベースのトリアージキューとジャッジ＝人間の整合性を組み合わせ、最も問題のあるトレースを優先的に人間へ届け、LLM ジャッジを継続的に改善します。

Jun 11, 20262 min read

Guides

アノテーターのデモグラフィック属性を責任を持って収集する：誰がラベルを付けるかが重要な理由と、行き過ぎずに尋ねる方法

アノテーターのアイデンティティはラベルを左右するため、デモグラフィック属性は収集する価値があります。ただし同意、配慮、そして明確な理由があってこそです。何を尋ね、何に手を出さず、Potatoでどう実装するかを解説します。

Jun 11, 20261 min read

Guides2 min read

評価から訓練データへ：SFT と DPO のための軌跡編集

ほとんどのエージェント評価はスコアで止まる。Potato 2.6 の trajectory_edit スキーマは、アノテーターが誤ったステップを評価する代わりに書き直し、各修正を教師ありファインチューニングのターゲットと DPO の選好ペアとしてエクスポートできるようにする。

Jun 6, 2026

Guides1 min read

エージェントの軌跡に信頼できるラベルを付ける方法

エージェントの多段階トレースへのアノテーションは、ツイートのラベル付けより難しい仕事です。分類体系の設計、ステップ単位の一致度の測定、不一致の裁定を、Potato の設定例とともに解説します。

Jun 3, 2026

Guides2 min read

LLM ジャッジを信頼できるか？ LLM-as-Judge を人間と照らして校正する

LLM でモデル出力を採点するのは簡単だが、それを信じてよいかの判断は難しい。Potato 2.6 のブラインド人間校正、つまり k サンプル投票、Cohen と Fleiss の kappa、そして期待較正誤差を一通り見ていく。

Jun 1, 2026

Guides2 min read

Potato に質的コーディングを：コードブック、メモ、イン・ヴィヴォ・コード

QDA モードを紹介します。Potato 2.6 で登場予定の質的データ分析ワークスペースで、生きたコードブック、イン・ヴィヴォ・コーディング、分析メモ、ケース、そしてコーパス全体に対する全文検索を備えています。

May 26, 2026

Guides

LLM アノテーターと人間：ラベル付けを自動化すべきときと、すべきでないとき

LLM に自分のデータをアノテーションさせてよいかをどう決めるか、モデルのアノテーターがどこで失敗するか、Potato で自動化と人の検証をどう組み合わせるかの実践ガイド。

May 25, 20261 min read

Guides

2026 年にオープンソースのアノテーションツールを選ぶ

オープンソースのデータアノテーションツールの選び方、選択を実際に絞り込む問いとは何か、そして Label Studio、Prodigy、Doccano、brat、Argilla の中で Potato がどこに位置づけられるかを率直に見ていきます。

May 20, 20261 min read

Guides1 min read

AI アノテーター向けのコードブック：コーディングスキームを信頼できる LLM ラベラーに変える

LLM が実際に従えるアノテーションコードブックの書き方、そのラベルを人間のコーダーと突き合わせて検証する方法、人を関与させ続けるやり方を、動作する Potato の設定とともに解説します。

May 15, 2026

Guides1 min read

スパンアノテーションでハルシネーションを見つける

MQM 形式で、該当する語句そのものをハイライトし何が問題かをラベル付けすることで、Potato のスパンアノテーションを使ってモデルのハルシネーションや事実誤認を捕まえます。

May 6, 2026

Guides1 min read

アノテーターは実際に何人必要か？

アノテーションプロジェクトのアノテーター数と重複をどう決めるか。客観的タスクと主観的タスクの目安、カバレッジと重複のトレードオフ、Potato での設定方法を解説します。

Apr 22, 2026

Guides1 min read

人手アノテーションによる RAG システムの評価方法

検索拡張生成（RAG）を評価するための実践ガイド。検索の関連性と回答の忠実性を別々に採点し、根拠のない主張を Potato のスパンアノテーションで印付けする方法を解説します。

Apr 8, 2026

Announcements

コーディングエージェントアノテーションの提供開始：Claude Code、Aider、SWE-Agentのトレースを評価する

Potatoがコーディングエージェントのアノテーションに対応しました。diffの描画、ターミナル出力の表示、プロセス報酬スキーマを備え、Claude Code、Aider、SWE-Agentからトレースを取り込めます。

Mar 27, 20264 min read

Guides

より良いコーディングエージェントを訓練するためのプロセス報酬データの集め方

Potatoを使ってPRM訓練用のステップ単位の報酬シグナルを収集する手順を解説します。first-errorモード、ステップごとのアノテーション、訓練パイプラインへのエクスポートまで扱います。

Mar 26, 20265 min read

Tutorials6 min read

見る・止める・巻き戻す：Potatoのライブコーディングエージェント観察

Ollama、Anthropic API、Claude Agent SDKでライブコーディングエージェント観察を構築するチュートリアルです。一時停止、ロールバック、分岐、トラジェクトリのエクスポートまで扱います。

Mar 25, 2026

Guides8 min read

AIエージェントを並べて比較する：バイナリ・スケール・多次元の3モード

Potatoでペアワイズのエージェント比較を設定する方法を解説します。バイナリ選好、連続スケール、根拠の記入を必須にした次元ごとの多基準判定という3つのモードを扱います。

Mar 24, 2026

Guides7 min read

ステップ単位のエラー局所化：トラジェクトリ評価でエージェントの失敗箇所を突き止める

Potatoの trajectory_eval スキーマを使い、階層的なエラー分類体系、重大度スコアリング、実行中スコアの追跡によって、エージェントトレースのステップ単位でエラーを局所化する方法を解説します。

Mar 23, 2026

Tutorials5 min read

AIコーディングエージェント向けのGitHub PRスタイルのコードレビュー

Potatoでインラインdiffコメント、ファイル単位の品質評価、承認・却下の判定を備えたGitHub PRスタイルのコードレビューアノテーションを設定し、コーディングエージェントの出力を評価する方法です。

Mar 22, 2026

Guides

エージェント評価におけるPotato・LangSmith・Langfuseの実践的な比較

エージェント評価の観点でPotatoとLangSmith、Langfuse、Labelbox、Scale AIを比較します。トレース描画、ステップごと・マルチエージェントのアノテーション、マルチモーダルエージェントのレビュー、コーディングエージェント、ライブ観察、価格、セルフホストを扱います。

Mar 21, 20265 min read

Tutorials

PotatoによるAIエージェントのMT-Benchスタイル・ルーブリック評価

Potatoの rubric_eval を使い、カスタム基準・設定可能な評価尺度・次元ごとの重みを備えた多基準ルーブリック評価を組み立て、AIエージェントを体系的に評価する方法を解説します。

Mar 20, 20269 min read

Release2 min read

Potato 2.4.0：Webエージェントアノテーション、ライブ評価、HuggingFace連携

Potato 2.4.0では、Webエージェントのトレースレビュー、リアルタイムのライブエージェント評価、LLMチャットサイドバー、HuggingFace Hubへのエクスポート、Webhook、SSO/OAuth、5種類の能動学習戦略が加わりました。

Mar 17, 2026

Announcements5 min read

Potato 2.3: エージェント型アノテーション、Solo Mode、そして人間による評価の未来

Potato 2.3.0は、12種類のトレース形式コンバーター付きエージェント型アノテーション、人間とLLMの協調ラベリングのためのSolo Mode、Best-Worst Scaling、SSO/OAuth、Parquetエクスポート、15のデモプロジェクトを導入します。

Mar 9, 2026

Guides6 min read

AIエージェントの評価：エージェントトレースの人間アノテーション完全ガイド

Potatoのエージェント型アノテーション機能を使用して、トレースのインポートからアノテーションスキーマ設計まで、AIエージェント出力の人間評価をセットアップする方法を学びます。

Mar 8, 2026

Tutorials5 min read

Solo Mode：1人のアノテーターで10,000件のラベリングを行う方法

PotatoのSolo Modeの手順解説。まず自分でシードセットにラベルを付け、残りはLLMに任せ、精度チェックを見ながらどこで止めるかを決めます。

Mar 7, 2026

Guides

Webブラウジングエージェントのアノテーション：WebArenaトレースから人間評価まで

PotatoのWeb Agent Trace Displayを使用して、ステップバイステップのスクリーンショット、SVGオーバーレイ、ステップごとのアノテーションスキーマで自律Webブラウジングエージェントを評価する方法。

Mar 6, 20265 min read

Announcements

Potato 2.2：イベント、エンティティリンキング、エクスポート、55の調査票

Potato 2.2.0は9つの新しいアノテーションスキーマ、プラグ可能なエクスポートシステム、MACE能力推定、55の検証済み調査票、リモートデータソースを追加します。

Feb 20, 20262 min read

Announcements2 min read

Potato 2.1：インスタンス表示、ビジュアルAI、スパンリンキング

Potato 2.1.0は、インスタンス表示システム、画像・ビデオアノテーションのビジュアルAIサポート、スパンリンキング、マルチフィールドスパン、レイアウトカスタマイズを導入します。

Feb 14, 2026

Guides5 min read

ビジュアルAIを使った画像・ビデオアノテーションの高速化

YOLO、Ollama、OpenAI、Claudeを使用した画像・ビデオタスクのAI搭載オブジェクト検出、事前アノテーション、分類の設定方法。

Feb 14, 2026

Guides6 min read

Label StudioからPotatoへの移行

Label Studioのプロジェクト、テンプレート、アノテーションをPotato形式に手動変換するためのステップバイステップガイド。

Jan 20, 2026

Guides2 min read

Prolificでのアノテーション研究の実施

支払いと品質管理を含む、クラウドソーシングアノテーションのためのPotatoとProlificの統合完全ガイド。

Jan 20, 2026

Guides

法律文書アノテーションのベストプラクティス

契約書、裁判文書、規制関連書類をドメイン専門知識を活かしてアノテーションするための専門的テクニック。

Jan 18, 20265 min read

Guides

Potatoを使った医療画像アノテーション

Potatoの標準的な画像アノテーション機能を使用した医療画像アノテーションのベストプラクティス。

Jan 18, 20263 min read

Tutorials3 min read

セグメンテーションタスクのためのポリゴンアノテーション

画像セグメンテーション用のポリゴン描画ツールの設定方法、複雑な形状やオーバーラップ領域のコツ。

Jan 18, 2026

Guides2 min read

能動学習：よりスマートにアノテーションする

Potato が分類器の不確実性でアノテーション待ち行列を並べ替える仕組みと、サンプリング設定、コールドスタート、ランダム項目をどれだけ混ぜるかの設定。

Jan 15, 2026

Tutorials3 min read

物体検出のためのバウンディングボックス描画

ラベルカラーとバリデーションを含む、コンピュータビジョンタスクのためのバウンディングボックスアノテーション設定の完全ガイド。

Jan 15, 2026

Guides4 min read

Hugging Face Datasetsへのアノテーションエクスポート

Potatoアノテーションをモデルトレーニングと共有のためにHugging Faceデータセット形式に変換する方法。

Jan 15, 2026

Tutorials

画像比較と選好タスク

選好ランキング、A/Bテスト、品質評価のためのサイドバイサイド画像比較インターフェースの構築方法。

Jan 15, 20266 min read

Announcements

Potato 2.0の紹介：AI搭載アノテーション

AI搭載機能、マルチメディアサポート、能動学習機能を備えたPotato 2.0のリリースを発表します。

オーディオ再生とリッカートスケールを使用した発音品質評価のための語学学習アノテーションタスクの構築。

音声文字起こしタスクのための波形表示、再生コントロール、テキスト修正インターフェースの設定方法。

Jan 3, 2026

Announcements1 min read

PotatoがEMNLP 2022で発表されました

Potatoに関する論文がEMNLP 2022に採択されました。ツールの背景にある研究と、研究での引用方法について紹介します。

Dec 7, 2022