時間軸上の一致度
セグメント境界の時間 IoU、境界 α、そして破綻点の一致度を単一の閾値ではなく許容幅のスイープとして報告する理由。
イベントの開始時点を印す二人のアノテーターが同じフレームを選ぶことはありません。したがって時間的一致度は「どれだけ近ければ一致とみなすか」を述べる必要があり、その選び方が答えを変えます。 Potato は閾値を一つ選ぶのではなく、スイープを報告します。
何を測るか
| 問い | 測度 |
|---|---|
| セグメントは重なっているか | 時間 IoU |
| 境界は同じ位置に落ちるか | 境界 α |
| 同じ種類のイベントを印したか | ラベルに関する名義 α |
| そもそもイベントがあったことで一致するか | 検出 α |
許容幅のスイープ
破綻点や境界のアノテーションでは、一致度はマッチング許容幅に依存します。二つの印がどれだけ離れていても同じ印とみなせるか、という値です。
単一の閾値を報告すると、読み手は自分の結論を支持する許容幅を勝手に想定してしまいます。0.25 秒での一致度と 2 秒での一致度は、データについて別々の主張です。
- 2 秒で高く 0.25 秒で低い場合、アノテーターはイベントが起きたことでは一致しているが、正確な時点では一致していません。これはたいていガイドラインの問題で、「いつ始まるか」の定義が詰められていないということです。
- どちらでも低い場合は、そもそも起きたかどうかで意見が割れています。
そのためレポートは許容幅をスイープし、曲線を示します。破綻点の一致度がさらに検出・位置決め・カテゴリに分解される世界モデルの評価も参照してください。
カバー率を併記する
密な曲線、たとえばロボットのエピソードにわたる進捗報酬のトレースなどでは、一致度は ICC と Pearson にカバー率を明記して報告します。
タイムラインの 5% で計算された相関は、残りの 95% について何も語りません。そしてカバー率を伴わない係数は、あたかも全体を語っているかのように読まれてしまいます。
既知の制約
時間セグメントには現在、補正なしの測度のみが適用されます。σ の偶然ベースラインは項目間距離から構築されますが、クリップの長さが異なる場合、「別のクリップから取ったセグメント」は意味のある比較になりません。これを正しく扱うには独自の設計が必要であり、それが存在する前に偶然一致補正を謳うほうが、こう明記するより悪いことになります。