ガイド
ツールに依存しないアノテーション実務の解説：スキーム設計、アノテーター間一致度、クラウドソーシング、エージェント評価。実例付き。
これらはリファレンスではなく解説記事です。各記事はまず、特定のツールに依存しないアノテーション実務上の問いに答え、続いて Potato を実例として示します。
いくつかのグループに分かれます。最初のグループは、データにラベルを付ける前に決めることを扱います。何をアノテーションするか、ガイドラインをどう書くか、データをどの形式にするかです。より大きなグループは個別のアノテーション種別を扱い、固有表現や共参照から、音声、動画、画像セグメンテーション、3D 点群まで及びます。3 つ目のグループは測定です。一致度、裁定、サンプルサイズ、そしてアノテーターの意見が割れたときの対処です。残りは LLM とエージェントの出力の評価、および有償アノテーターによる調査の運用を扱います。
アノテーションが初めてであれば データアノテーションとは？ から、すでにアノテーションがあり品質を報告する必要があれば アノテーター間一致度の解説 から始めてください。