STAPLE によるマスク合意

データセットにはどのマスクを記録すべきで、誰がうまく描けたのか。STAPLE は評価者ごとの感度と特異度を伴う潜在境界を推定し、丁寧なアノテーターが数で劣る場合に多数決を上回ります。

一致度は「彼らが一致しているか」に答えます。「データセットにはどのマスクを記録すべきで、誰がうまく描けたのか」には答えません。 これは別の問いであり、別のモデルを必要とします。

なぜ MACE ではないのか

MACE は各アノテーターを、有限で共有されたラベル集合の上で「知っている」か「当てずっぽう」かとしてモデル化します。マスクは境界のない空間に存在し、推定すべきカテゴリ変数を持ちません。無理に通そうとすればラベル集合をでっち上げることになり、そのでっち上げが答えを決めてしまいます。

STAPLE（Warfield、Zou、Wells、2004）は医用画像分野で確立された手法です。ピクセルごとのラベルに対して期待値最大化法を回し、アノテーターごとに次を推定します。

	意味	値が低いということは
感度	真の前景のうち、どれだけを含めたか	過小分割 — 境界の内側に描いている
特異度	真の背景のうち、どれだけを正しく除外したか	過大分割 — 対象の周りに大きめに描いている

両方を報告するのは、修正の方向が正反対だからです。単一の「精度」値ではこの二つの失敗を同じに採点してしまい、アノテーターは何を直せばよいか分かりません。

丁寧なアノテーターの不一致は、雑なアノテーターのそれよりも合意結果を大きく動かします。そしてアルゴリズムはどちらがどちらかをデータ自身から割り出します。

丁寧なアノテーター二人が、雑なアノテーター三人に三対二で数負けしている状況で測定した結果です。

手法	正解に対する Dice
多数決	0.846
STAPLE	1.000

多数決では雑な三人が結論を決めてしまいます。STAPLE は、丁寧な二人が互いに一致し、雑な三人はそうでないことに気づきます。

あるクラスのインスタンスを三つ持つアノテーターは、その和集合を提供します。STAPLE はピクセル単位で比較するため、インスタンスを分けて扱うにはまずアノテーター間で対応づける必要があり、それは検出の問題としてジオメトリの一致度で別途扱われます。
マスクを持つアノテーターが二人未満の項目は、黙って捨てるのではなく数えたうえでスキップします。そうしないとカバー率を過大に見せてしまいます。

ペア比較はアノテーター数および項目あたりのインスタンス数について二次的に増えます。アノテーター五人、画像あたり 50 インスタンスのプロジェクトでは画像ごとに 25,000 回のマスク復号となり、管理ページの読み込みがハングします。

max_pairs という上限があり、既定値は 200,000 です。これに達した場合は次のようになります。

項目は丸ごとスキップされ、半端に測定されることはありません。部分的に処理された項目は、たまたま処理されたアノテーターのペアのほうへ平均を偏らせるからです。
レポートは truncated: true を設定し、実際に収まった項目数を明示します。

完全な数値に見える打ち切られた一致度は、数値がないより悪いものです。それは必ず引用されるからです。