効果的なアノテーションガイドラインの書き方
一貫したラベルを生み出すアノテーション・コードブックの書き方。明確な定義、具体例、境界事例のルール、そして試行と改訂のサイクルを解説します。
アノテーションガイドライン（「コードブック」）は、アノテーターが従う規則集です。ラベルの質を最も左右するのは、ガイドラインがどれだけ詳細かではなく、注意深い二人が同じラベルを選べるかどうかです。 良い具体例を備えた短く鋭いコードブックは、長くて曖昧なものに勝ります。
これは社会科学における内容分析とつながっており、コードブックの設計はそこで何十年も研究されてきました。そしてそれが最終的に評価者間信頼性を左右します。
良いコードブックに含まれるもの
- ラベルごとに一文の定義、加えてそのラベルが何でないかを一行で。否定的な定義は、最もよくある不一致を防ぎます。
- 具体例、境界事例も含めて。自分のデータから取った実例は、作り物の例に勝ります。
- タイブレークのルール。 2つのラベルが当てはまりうるときに、どちらが優先かを示します。一貫性の成否はここで決まります。
- 「迷ったとき」の既定の選択肢と逃げ道（「判断できない」の選択肢）。これがあれば、アノテーターが黙って当て推量することがなくなります。
ルールはアノテーターの目に入る場所に置く
Potato は、説明やラベルごとのツールチップをコントロールのすぐ隣に表示できます。これにより、ガイドラインは別文書ではなく、判断のその場に存在することになります。
yaml
annotation_schemes:
- annotation_type: radio
name: toxicity
description: "Is this comment toxic? Toxic = rude, disrespectful, or likely to make someone leave a conversation."
labels: [Toxic, Not toxic, Can't tell]
tooltips:
Toxic: "Insults, threats, identity attacks, or harassment."
Not toxic: "Disagreement or strong opinion without an attack."
Can't tell: "Not enough context to judge."「Can't tell」の選択肢は重要です。本物の曖昧さと、強いられた当て推量とを切り分けることで、一致度の指標を正直なものに保ちます。
まず試行し、それから改訂する
ガイドラインが一発で正しく書けることはありません。小規模な試行を行い、アノテーターが食い違ったすべての項目を見て、ガイドラインが不明確だったのか、それとも項目自体が本当に曖昧だったのかを判断します。ガイドラインを直して再び試行します。たいてい2〜3周でラベル集合は安定します。
Potato のゴールドスタンダードと注意チェックを使えば、決着のついた事例をチェックとして埋め込み、今後のアノテーターのキャリブレーションを保てます。