バウンディングボックスの偶然補正済み一致度
画像を一度も見ないアノテーターでも、アノテーター間の平均 IoU は 0.95 前後にとどまることがあります。Potato の σ は、他の画像から偶然一致のベースラインを推定します。
アノテーター間の生の IoU は、空間タスクがどれだけ制約されているかを反映します。そのため、大きく中央に写った物体ばかりのコーパスでは、画像を一度も見ないアノテーターでも 0.95 前後にとどまることがあります。代わりに測るべきなのは、偶然補正済みの係数です。
私たちが確認できた、アノテーター間一致度を報告するコンピュータビジョン向けのアノテーションプラットフォームは、いずれもそれをクラスごとの閾値に対する生の IoU(intersection over union)として報告しています。CVAT の合意エンジンも、V7 の合意ステージもそうです。Label Studio Enterprise の指標一覧は、完全一致、数値差、IoU、スパンの重なりです。どれも偶然補正を適用しておらず、補正がなければ、その数値は見かけどおりの意味を持ちません。
中央に写った物体のコーパスにおける平均 IoU
各画像に、大きくほぼ中央にある物体が一つだけ写っている検出コーパスを考えます。二人のアノテーターがどちらもその周りにボックスを描けば、ボックスは大きく重なり、平均 IoU は 0.95 前後になり、ダッシュボードは一致度が優秀だと示します。ここで一方のアノテーターを、画像を見ずにすべての画像の中央にボックスを描くプロセスに置き換えても、平均 IoU は 0.95 前後のままです。この指標が報告しているのは、アノテーターの性質ではなく、コーパスの性質(タスクがどれだけ制約されているか)です。
一致率も、あるクラスが大半を占めるカテゴリラベルで同じように破綻します。この問題は、Cohen が 1960 年に kappa を導入して以来よく知られていますが、上記のプラットフォームは、同等の補正なしで空間的な一致度を報告しています。
IoU 距離に対する Krippendorff の alpha
Krippendorff の α は任意の距離関数を受け付けるので、1 − IoU に対する α を使うのが自然な発想であり、当初の計画もそうでしたが、構造上の理由で破綻します。α は 1 − D_o/D_e を計算し、D_e はランダムな組み合わせのもとで期待される不一致です。IoU 距離は [0, 1] に収まり、ランダムに組み合わせた二つのボックスは、ほぼ必ず IoU が 0 になります。そのため D_e はほぼ 1 に潰れ、係数全体が 1 − mean observed distance に退化して、偶然補正が内部で機能しなくなります。
IoU は、アノテーターが食い違うまさにその領域で平坦でもあります。重ならない二つのボックスは、接していても画像の正反対の隅にあっても 0 になるからです。注目したい領域に、この指標は勾配を持ちません。
この反論は経験的なものでもあります。Braylan、Alonso、Lease(WWW 2022)は、候補となる距離関数を、一致度の指標が先行研究と同じ順序で並べるかどうかで評価しました。より細かく、ラベルの誤りに敏感な距離ほど高く順位付けされます。バウンディングボックスでは、α は単純な L2(0.687)を GIoU(0.507)と IoU(0.505)より上に順位付けしますが、二つの分布ベースの指標は、GIoU、IoU、L2 の順という期待どおりの順序を与えます。
σ 係数と経験的な偶然ベースライン
私たちは代わりに σ を報告します。σ は α の形を保ちながら、偶然のベースラインを他のアイテムのアノテーションから経験的に推定します。名前とアイテム間のベースラインは Braylan、Alonso、Lease に由来し、彼らの σ は、観測された距離のうちアイテム間の分布を有意に下回るものの割合です。Potato の σ は、より単純な平均の比です。
σ = 1 − mean(within-item distance) / mean(between-item distance)分母は、ランダムな組み合わせの分布を仮定する代わりに、異なるアイテムのアノテーションを比較します。この比較は、「同じものを見ていなかった場合、これらのアノテーターはどれだけ離れているか」という問いに経験的な答えを与えます。これこそが、偶然ベースラインに求められるものです。
σ は次のように読みます。
| σ | 解釈 |
|---|---|
| 1.0 | 完全な一致 |
| 0.0 | 無関係な画像にアノテーションするのと変わらない |
| 0 未満 | 異なる画像どうしよりも、同じ画像で体系的に離れている |
負の値は切り捨てません。負の σ は実在する、診断可能な状態であり、アノテーターが不注意であるというより、ガイドラインが曖昧であることを示すのがほとんどです。切り捨てれば、その信号が隠れてしまいます。
σ と並んで、アイテム内とアイテム間の距離の分布に対する、二標本の Kolmogorov–Smirnov(KS)統計量も報告します。σ は二つの平均を比べるため外れ値に引きずられることがありますが、KS は分布全体を比べます。σ と KS が食い違うときは、少数のアイテムが不一致の大半を担っており、どのアイテムを開くべきかが分かります。
検出、分類、位置合わせを別々の数値に
偶然補正が正しくても、単一の空間的な一致度の数値では、次の三つのうちどれがうまくいっていないかを示せません。
- 検出。 そもそも同じオブジェクトを見つけたか。
- 分類。 対応するオブジェクトに同じラベルを付けたか。
- 位置合わせ。 対応するオブジェクトが同じ位置にあるか。
すべてのオブジェクトを見つけたうえで全部に誤ったラベルを付けるアノテーターと、ラベルは正しいがボックスが緩いアノテーターとでは、問題がまったく異なり、対処も違います。そのため Potato は三つを別々に報告します。
マスクには STAPLE、3D キュボイドには回転 IoU
ピクセルマスクでは、「一致しているか」と「データセットにどちらの境界を記録すべきか」は別の問いです。STAPLE は、潜在的な合意境界を、アノテーターごとの感度と特異度とともに推定することで、後者に答えます。この二つは別々に報告されます。過小なセグメンテーションと過大なセグメンテーションでは、対処が逆になるからです。
STAPLE は、票を数えるのではなく、実証された信頼性で重み付けもします。注意深いアノテーターが少数派である場合に、これが重要になります。Potato の STAPLE テストは、真の前景が 20 × 20 の正方形である 40 × 40 ピクセルの画像を設定します。二人の注意深いアノテーターはその正方形を正確になぞり、三人のノイズの多いアノテーターは、それぞれ正方形のピクセルの約半分を残し、画像の約 35% をランダムにマークします。5 人中 3 人の多数決は、この真値に対して Dice 0.846 となり、STAPLE は 1.000 となります。
3D キュボイドには、厳密な回転 3D IoU を使ってください。軸に平行な近似は、水平な自動車データには十分ですが、ドローン、手持ち、屋内のスキャンでは誤りになります。そこでは、指標の人為的な産物にすぎない不一致を作り出してしまうからです。
画像の調停バグと σ の限界
最初にバグがありました。Potato の調停はアノテーションのキーを比較していましたが、画像スキーマはすべてを _data という一つのキーの下に保存するため、すべての画像ペアが一致度 1.0 になっていました。何についても一致していない二人のアノテーターが全会一致に見え、レビューに回された画像は一つもありませんでした。
バグを直すということは、正しい数値は何だったのかを問うことでした。異なるアイテムのアノテーションから得る偶然ベースラインと KS 比較は、どちらも Braylan、Alonso、Lease に従っています。この指標には、明示されている限界が一つあります。時間セグメントは現在、補正なしの指標だけが使われます。クリップの長さが異なる場合、「別のクリップのセグメント」は意味のある偶然の比較にならないからです。
さらに読む
引用文献
この記事で引用した文献を、最初に登場した順に示します。
Jacob Cohen (1960). A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement. https://doi.org/10.1177/001316446002000104
Alexander Braylan, Omar Alonso & Matthew Lease (2022). Measuring Annotator Agreement Generally across Complex Structured, Multi-object, and Free-text Annotation Tasks. Proceedings of the ACM Web Conference 2022. https://doi.org/10.1145/3485447.3512242
S. K. Warfield, K. H. Zou & W. M. Wells (2004). Simultaneous Truth and Performance Level Estimation (STAPLE): An Algorithm for the Validation of Image Segmentation. IEEE Transactions on Medical Imaging. https://doi.org/10.1109/TMI.2004.828354