アノテーションタイプ
Potato は 61 種類のアノテーションタイプを備えています。ラジオボタンやリッカート尺度からスパン、メディア、エージェントトレースまで、よく使われるものを解説します。
アノテーションタイプはスキーム内の annotation_type の値であり、アノテーターがアイテムに対して何を求められるかを決めます。Potato のレジストリには 61 種類があります。
ここでは多くのプロジェクトで使われるタイプを扱います。Radio & Multiselect と リッカート尺度 でラベル付け作業の大半をカバーできます。スパンアノテーション とその関連タイプは、答えがアイテム全体ではなくテキストの一部分になる場合に使います。画像アノテーション、オーディオアノテーション、動画アノテーション の各ページはメディアに対するアノテーションを扱います。比較系の ペアワイズ比較 と Best-Worst Scaling は、絶対評価より相対評価のほうが判断しやすい場合に向いています。
設定するタイプがまだ決まっていない段階であれば、アノテーションスキームの選び方 のほうが適した出発点です。設定ビルダーは 61 種類すべてについて有効な YAML を生成します。