ブログ

ブラインド項目でLLMの提案によるアノテーターのアンカリングを測る

LLMのラベルを見せられたアノテーターは、見せられていないアノテーターとは異なるラベルを付けます。ランダムサンプルで提案を伏せ、ブラインド時と表示時の一致度を比較しましょう。

2026年10月22日

3Dオブジェクト、時間セグメント、エージェントトレースのアノテーター間一致度

構造化アノテーションをラベル名に還元すると、すべてのアノテーターが一致してしまいます。3DボックスとセグメントはIoUで対応付け、エージェントトレースは1ステップずつ評価しましょう。

2026年10月20日

ガイド11分で読めます

ブラインドの人手サンプルでLLMラベルを証明する

ブラインドで集めた人手ラベルのランダムサンプルで誤り率が目標を下回ると示された部分だけLLMのラベルを残し、出現率はモデルで補正した区間とともに報告します。

2026年10月17日

お知らせ11分で読めます

Potato 2.11：ラベリングエンジンと証明された機械ラベル

Potato 2.11はモデルでデータセットにラベルを付け、ブラインドの人手サンプルで機械ラベルを検定し、証明書を出力します。アイドル状態のセッションは8時間でサインアウトされるようになりました。

2026年10月15日

AI自動ラベリングの比較：Label Studio、CVAT、Labelbox、Prodigy、Argilla、Potato

6つのアノテーションツールを、モデルやLLMのラベルがプロジェクトに入る経路、人によるレビューの方法、機械ラベルの誤り率について何を報告するかで比較します。

2026年10月13日12分で読めます

セルフホスト型アノテーションツール：それぞれの実行に必要なものとホスト先

Label Studio、CVAT、doccano、Argilla、INCEpTION、Potatoを、セルフホスト時のサービス構成、データベース、サインイン、バックアップで比較し、ホスト先も費用別に紹介します。

2026年10月9日11分で読めます

チュートリアル6分で読めます

Deploy Buttons: Let Another Lab Run Your Annotation Study

potato deploy button adds a Deploy to Heroku, Render or AWS Launch Stack button to a study's repository, so collaborators run it in their own accounts.

2026年10月8日

お知らせ7分で読めます

Potato 2.9: Import from brat, doccano, Prodigy, CoNLL and QDA Tools

Potato 2.9 imports brat, doccano, Prodigy, CoNLL, and REFI-QDA projects, transcribes and diarizes audio locally, and records where each image shape came from.

2026年9月13日

お知らせ16分で読めます

potato-skill：Claude Code、Codex、Cursor でアノテーション研究を構築する

potato-skill はコーディングエージェントに Potato の参考資料 28 件を渡し、アノテーション研究の設計、インターフェースの構築、そして正しく描画されるかの確認までを行わせます。

2026年9月12日

一致度では追認を捉えられない

アノテーターが読まずにモデルの事前ラベルを受け入れると、アノテーター間一致度は上がります。アノテーションから計算されるあらゆる品質指標が改善します。残された信号は所要時間だけです。

2026年9月9日

「部分的」は実在の結果：ロボットのエピソードをアノテーションする

ロボットの実演はその多くが部分的成功であり、二値の結果はそれを捨ててしまいます。タイムライン型のアノテーション画面が押さえるべきこと、極小・極大を保つ間引きから事後のラベル付け直しまで。

2026年9月2日6分で読めます

ブラウザのタブで動くセグメンテーションを出荷する

クリックによるセグメンテーションとオープン語彙のテキストプロンプトは、どちらも GPU なしでクライアント側で動きます。そのために必要だったのは、検証されたエンコーダの契約、測定で選んだ量子化、そして手書きのトークナイザーでした。

2026年8月27日6分で読めます

ガイド7分で読めます

生の IoU は一致度ではない

アノテーター間の平均 IoU は、典型的な検出コーパスでは 0.95 前後になります。画像を一度も見ていないアノテーターでも同じです。偶然一致補正された代替がどんなものか、そして IoU 距離上の Krippendorff's α がなぜ機能しないのかを説明します。

2026年8月21日

お知らせ12分で読めます

Potato 2.8：何にでもアノテーションし、そして測る

Potato 2.8 はコンピュータビジョン、ギガピクセルのディープズーム、3D 点群、深度マップ、ロボットのエピソード、生成動画の評価、VLM グラウンディングに対応し、そのすべてについて偶然一致補正された一致度を報告します。

2026年8月18日

お知らせ14分で読めます

執筆プロセスを読む：自由記述アノテーションのためのキーストロークロギング

Potatoは、アノテーターが何を入力したかを記録することなく、自由記述の回答がどのように作られたかを記録できるようになりました。ポーズ、修正、貼り付けから、書かれたのではなく貼り付けられた回答を検証可能な形でフラグ付けします。

2026年8月6日

チュートリアル9分で読めます

音声認識（ASR）の文字起こしをアノテーションする：実例で見る手順

Whisperの出力が入ったフォルダから、ラベル付きの話者ターンまでを通しでたどります。アノテーション単位の選び方、話者分離の扱い、設定の書き方、タスクの実行、そして時間のアライメントを保ったままのエクスポートまで。

2026年7月31日

ジャッジを裁く：人間とモデルの推論を並べて見る

LLMジャッジが信頼できるのは、それを検証した相手である人間のラベルが信頼できる範囲までです。同じアイテムの上に人の思考の連鎖とモデルの思考の連鎖を並べ、それ自体が信頼区間を持つラベルに対してジャッジを確かめましょう。

2026年7月27日8分で読めます

お知らせ

Potato 2.7.1：文字起こしはもうできている

Potato 2.7.1は21種類の文字起こし・字幕形式をそのまま読み、メディアの隣にあるサイドカーファイルから読み込み、音声認識出力のフォルダをアノテーション可能なデータファイルに変える変換ツールも同梱します。

2026年7月26日7分で読めます

キャリブレーション会議を計測する

アノテーションチームはすでにノーミングセッションをしていて、アノテーターが何を考えているのかも知りたいと思っています。Multiplayer Roomsはライブの一致度メーターでキャリブレーション会議を計測し、Think-Aloud モードは声に出された推論をローカルで記録します。どちらもLLMは要りません。

2026年7月23日

ゴールドラベルなしの品質管理

ゴールドスタンダードは作るのに手間がかかり、覚えられてしまい、しかも仕込もうと思いついたケースしかテストできません。ピア予測によるスコアリングと反実仮想の境界プローブという2つの代替手段なら、偽のアイテムを1つも仕込まずに、注意を払っていないアノテーターと壊れたガイドラインを見つけられます。

2026年7月19日

ガイド9分で読めます

エラーバーつきのラベル：アノテーションのための項目反応理論

多数決は、アノテーターが伝えてくれたことのほとんどを捨ててしまいます。項目反応理論を使えば、各ラベルに事後確率と信頼区間がつき、アノテーターの能力とアイテムの難易度が推定され、壊れたコードブックの項目も見つかります。ゴールドラベルもLLMも要りません。

2026年7月16日

お知らせ9分で読めます

Potato 2.7：ラベルがどう作られるかを測る

Potato 2.7では、エラーバーつきのラベル、ライブのノーミングルーム、反実仮想の境界プローブ、ピア予測によるスコアリング、ローカルで動く音声の根拠、1コマンドのデータセットレポート、モバイルアノテーションが加わりました。どれもLLMを必要としません。さらにマルチエージェントとマルチモーダルのエージェント評価も。

2026年7月13日

アノテーション研究のための検証済み調査尺度：パーソナリティ、感情、ウェルビーイング、デモグラフィック

誰がアノテーションするかが重要なとき、その場で自作した質問より検証済みの調査票のほうが優れています。Potatoに標準搭載された55の調査尺度と、それぞれが研究に加わるべき場面を巡ります。

2026年7月4日8分で読めます

アノテーションデータセットを文書化する：データステートメント、データシート、そして文書化されていないデータが劣化する理由

文書化されていないアノテーションデータセットは信頼しづらく、誤用されやすいものです。データステートメント、データシート、公開前チェックリスト、そしてPotatoがそのほとんどをどう記録してくれるかについてのガイドです。

2026年6月30日9分で読めます

お知らせ4分で読めます

Potato 2.0 が ACL 2026 で発表

Potato 2.0 に関する論文が ACL 2026 のシステムデモ部門に掲載されました。論文の内容と Potato の引用方法を紹介します。

2026年6月28日

音声・動画エージェントを評価する

Potato における音声、動画、ドキュメントエージェントの人手評価のウォークスルー：デュアルトラックタイムライン上でターンテイキングをスコアリングし、ライブな IoU で動画イベントをグラウンディングし、音声エラーをタグ付けし、表構造をマークする。

2026年6月24日

コンピュータ操作エージェントを評価する、ステップごとに

Potato におけるコンピュータ操作および GUI エージェントの人手評価のウォークスルー：各アクションを判定し、スクリーンショット上でクリックグラウンディングを確認し、ツール呼び出しを 1 つずつレビューする。

2026年6月23日

ガイド9分で読めます

マルチエージェントの失敗をデバッグする：ウォークスルー

Potato を使ってマルチエージェント LLM システムが失敗した理由を見つける方法：相互作用グラフ、失敗の帰属、引き継ぎレビュー、エージェント別スコアカード、ツール競合タイムライン、創発的振る舞いのタグ付け。

2026年6月22日

お知らせ

Potato 2.6：定性データ分析とエージェント評価の融合

Potato 2.6 がリリース：定性コーディングのための QDA モード、LLM-as-judge のキャリブレーションとアラインメントのワークフロー、SFT と DPO の学習データを生成する軌跡編集、3 倍速い起動、そして GPL-3.0-or-later への再ライセンス。

2026年6月21日9分で読めます

お知らせ

Potato 2.6.2：完全なオープンソースのエージェント評価スイート

2.6.x 系列は Potato を完全かつ無償のエージェント評価プラットフォームへと進化させます：OpenTelemetry、LangGraph、CrewAI、AutoGen からのトレース取り込み、クリック可能な相互作用グラフを備えたマルチエージェントチーム注釈、GUI・音声・動画向けのマルチモーダルエージェントスキーマ、さらにモデルアリーナ、CI ゲーティング、キュレーションを備えます。

2026年6月20日8分で読めます

不一致はノイズではなくシグナルである：アノテーターの不一致を解消せずに残すべきとき

アノテーションのパイプラインは不一致を消し去るように作られていますが、主観的タスクではその不一致こそがデータです。本物のラベルのばらつきと誤りを見分け、それをPotatoで残すためのガイドです。

2026年6月18日

ガイド7分で読めます

完全な重複を超えて：大規模データセットのための適応的なアノテーターカバレッジ

すべてに二重ラベルを付けるのは高コストで、すべてに単一ラベルを付けるのは品質が見えません。Potato 2.6 では、ほとんどの項目に1人のアノテーターを、層化抽出したサンプルに3人を割り当て、適応的なブーストと自動の調停ルーティングを利用できます。

2026年6月16日

ループを閉じる：エージェントのエラーとジャッジの不一致を人間に戻す

エージェント評価において、人間によるレビュー時間は最も希少なリソースです。Potato 2.6 はシグナルベースのトリアージキューとジャッジ＝人間の整合性を組み合わせ、最も問題のあるトレースを優先的に人間へ届け、LLM ジャッジを継続的に改善します。

2026年6月11日

ガイド12分で読めます

アノテーターのデモグラフィック属性を責任を持って収集する：誰がラベルを付けるかが重要な理由と、行き過ぎずに尋ねる方法

アノテーターのアイデンティティはラベルを左右するため、デモグラフィック属性は収集する価値があります。ただし同意、配慮、そして明確な理由があってこそです。何を尋ね、何に手を出さず、Potatoでどう実装するかを解説します。

2026年6月11日

評価から訓練データへ：SFT と DPO のための軌跡編集

ほとんどのエージェント評価はスコアで止まる。Potato 2.6 の trajectory_edit スキーマは、アノテーターが誤ったステップを評価する代わりに書き直し、各修正を教師ありファインチューニングのターゲットと DPO の選好ペアとしてエクスポートできるようにする。

2026年6月6日8分で読めます

エージェントの軌跡に信頼できるラベルを付ける方法

エージェントの多段階トレースへのアノテーションは、ツイートのラベル付けより難しい仕事です。分類体系の設計、ステップ単位の一致度の測定、不一致の裁定を、Potato の設定例とともに解説します。

2026年6月3日8分で読めます

LLM ジャッジを信頼できるか？ LLM-as-Judge を人間と照らして校正する

LLM でモデル出力を採点するのは簡単だが、それを信じてよいかの判断は難しい。Potato 2.6 のブラインド人間校正、つまり k サンプル投票、Cohen と Fleiss の kappa、そして期待較正誤差を一通り見ていく。

2026年6月1日

Potato に質的コーディングを：コードブック、メモ、イン・ヴィヴォ・コード

QDA モードを紹介します。Potato 2.6 で登場予定の質的データ分析ワークスペースで、生きたコードブック、イン・ヴィヴォ・コーディング、分析メモ、ケース、そしてコーパス全体に対する全文検索を備えています。

2026年5月26日

ガイド7分で読めます

LLM アノテーターと人間：ラベル付けを自動化すべきときと、すべきでないとき

LLM に自分のデータをアノテーションさせてよいかをどう決めるか、モデルのアノテーターがどこで失敗するか、Potato で自動化と人の検証をどう組み合わせるかの実践ガイド。

2026年5月25日

ガイド4分で読めます

2026 年にオープンソースのアノテーションツールを選ぶ

オープンソースのデータアノテーションツールの選び方、選択を実際に絞り込む問いとは何か、そして Label Studio、Prodigy、Doccano、brat、Argilla の中で Potato がどこに位置づけられるかを率直に見ていきます。

2026年5月20日

AI アノテーター向けのコードブック：コーディングスキームを信頼できる LLM ラベラーに変える

LLM が実際に従えるアノテーションコードブックの書き方、そのラベルを人間のコーダーと突き合わせて検証する方法、人を関与させ続けるやり方を、動作する Potato の設定とともに解説します。

2026年5月15日10分で読めます

スパンアノテーションでハルシネーションを見つける

MQM 形式で、該当する語句そのものをハイライトし何が問題かをラベル付けすることで、Potato のスパンアノテーションを使ってモデルのハルシネーションや事実誤認を捕まえます。

2026年5月6日3分で読めます

ガイド3分で読めます

アノテーターは実際に何人必要か？

アノテーションプロジェクトのアノテーター数と重複をどう決めるか。客観的タスクと主観的タスクの目安、カバレッジと重複のトレードオフ、Potato での設定方法を解説します。

2026年4月22日

ガイド4分で読めます

人手アノテーションによる RAG システムの評価方法

検索拡張生成（RAG）を評価するための実践ガイド。検索の関連性と回答の忠実性を別々に採点し、根拠のない主張を Potato のスパンアノテーションで印付けする方法を解説します。

2026年4月8日

お知らせ12分で読めます

コーディングエージェントのアノテーション：Claude Code、Aider、SWE-Agentのトレースを評価する

Potatoはコーディングエージェントのトレースをdiffとターミナルブロックとして描画します。プロセス報酬とコードレビューのスキーマ、Claude Code、Aider、SWE-Agent用のコンバータを備えています。

2026年3月27日

ガイド9分で読めます

より良いコーディングエージェントを訓練するためのプロセス報酬データの集め方

Potatoで、PRM訓練用のステップ単位の報酬ラベルを収集します。first-errorモードとステップごとモードを使い、エクスポートを訓練用の形に整えるスクリプトも紹介します。

2026年3月26日

チュートリアル

見る、止める、巻き戻す：Potatoのライブコーディングエージェント観察

Ollama、Anthropic API、Claude Agent SDKでライブコーディングエージェント観察をセットアップするチュートリアルです。一時停止、ロールバック、分岐、トラジェクトリのエクスポートを扱います。

2026年3月25日14分で読めます

AIエージェントを並べて比較する：バイナリ・スケール・多次元の3モード

Potatoでペアワイズのエージェント比較を設定する方法を解説します。バイナリ選好、連続スケール、根拠の記入を必須にした次元ごとの多基準判定という3つのモードを扱います。

2026年3月24日14分で読めます

ガイド17分で読めます

ステップ単位のエラー局所化：トラジェクトリ評価でエージェントの失敗箇所を突き止める

Potatoの trajectory_eval スキーマを使い、階層的なエラー分類体系、重大度スコアリング、実行中スコアの追跡によって、エージェントトレースのステップ単位でエラーを局所化する方法を解説します。

2026年3月23日

チュートリアル14分で読めます

AIコーディングエージェント向けのGitHub PRスタイルのコードレビュー

Potatoでインラインdiffコメント、ファイル単位の品質評価、承認・却下の判定を備えたGitHub PRスタイルのコードレビューアノテーションを設定し、コーディングエージェントの出力を評価する方法です。

Potato 2.1.0は、インスタンス表示システム、画像・ビデオアノテーションのビジュアルAIサポート、スパンリンキング、マルチフィールドスパン、レイアウトカスタマイズを導入します。

2026年2月14日8分で読めます

ビジュアルAIを使った画像・ビデオアノテーションの高速化

YOLO、Ollama、OpenAI、Claudeを使用した画像・ビデオタスクのAI搭載オブジェクト検出、事前アノテーション、分類の設定方法。

2026年2月14日12分で読めます

Label StudioからPotatoへの移行

Label StudioからPotatoへ移行し、プロジェクト設定、アノテーションスキーマ、エクスポート済みデータを変換します。よく使われるアノテーションタイプを扱うステップバイステップガイドです。

2026年1月20日

Prolificでのアノテーション研究の実施

URL直接ログイン、完了コード、アテンションチェック、API経由の提出状況モニタリングを使って、PotatoのアノテーションスタディをProlificで実施します。

2026年1月20日

法律文書アノテーションのベストプラクティス

契約書、裁判文書、規制関連書類をドメイン専門知識を活かしてアノテーションするための専門的テクニック。

2026年1月18日

Potatoを使った医療画像アノテーション

Potatoの標準的な画像アノテーション機能を使用した医療画像アノテーションのベストプラクティス。

2026年1月18日

チュートリアル

セグメンテーションタスクのためのポリゴンアノテーション

画像セグメンテーション用のポリゴン描画ツールの設定方法、複雑な形状やオーバーラップ領域のコツ。

2026年1月18日5分で読めます