データアノテーションの基礎概念

データアノテーションとは、テキスト、画像、音声、動画、モデルの出力などの生データにラベルを付与し、そのデータを機械学習モデルの学習や評価に使えるようにするプロセスです。ラベルには、カテゴリ、ハイライトしたスパン、評定、比較などがあります。Potato では、短い YAML 設定でこれらいずれのタスク形式も構築できます。

アノテーター間一致率（inter-annotator agreement）は、独立したアノテーターが同じ項目に同じラベルを付ける頻度を測る指標です。タスクが明確に定義され、ラベルが信頼できることを示す標準的な証拠となります。代表的な指標には Cohen's kappa、Fleiss' kappa、Krippendorff's alpha があり、いずれも偶然による一致を補正します。Potato は管理ダッシュボードで Krippendorff's alpha を表示します。

データや目的によって異なるため、唯一の答えはありません。テキスト、画像、音声、AI エージェント評価にまたがる作業には、Potato が有力な無料のオープンソースの選択肢で、30 種類以上のタスク形式とノーコードの YAML 設定を備えています。Label Studio、Doccano、brat、Argilla も、それぞれ強みの異なるオープンソースの選択肢です。

まずタスクとラベルセットを定義し、明確なガイドラインを作成して、複数のアノテーターに重複した項目をラベル付けしてもらいます。一致率を測定し、不一致を解消したうえで、学習パイプラインが読み込める形式で結果をエクスポートします。Potato はこのワークフロー全体をカバーし、JSON、CoNLL、Hugging Face、spaCy、COCO/YOLO へエクスポートできます。

明確で客観的なタスクでは、品質確認のために少数の項目を重複させたうえで、1 人のアノテーターで足りることが多いです。中程度に主観的なタスクでは、通常 3 人のアノテーターを使い、多数決で解決します。非常に主観的なタスクでは 5 人以上を使い、1 つの答えにまとめずに意見の幅をそのまま保つこともあります。3 人を超えると効果は急速に小さくなります。

能動学習（active learning）は、次にアノテーションする項目を選ぶことで、ランダムサンプリングよりも少ないラベル数でモデルが目標精度に到達できるようにする手法です。モデルが最も情報量が多いと判断した項目、多くの場合は最も確信度の低い項目を提示し、人がそれらにラベルを付けます。Potato は uncertainty、diversity、BADGE、BALD の各戦略をサポートしています。

分類は、レビューをポジティブまたはネガティブと判定するように、項目全体に 1 つ以上のラベルを割り当てます。スパンアノテーションは、文中の名前をハイライトしたり、音声波形上のイベントを示したりするように、項目内の領域に印を付けます。固有表現認識（NER）やエラー箇所のマーキングはスパンタスクです。Potato は両方をサポートしており、1 つの画面で組み合わせることもできます。

人に出力を判定してもらいます。尺度で評定する、2 つを並べて比較する、ルーブリックに照らして採点する、スパンで具体的なエラーに印を付ける、といった方法があります。複数ステップを実行するエージェントでは、軌跡（トラジェクトリ）の各ステップを判定することもできます。Potato はこれらすべてを提供し、OpenAI、Anthropic、ReAct などの形式からエージェントのトレースを読み込めます。