コンテンツへスキップ

時間軸上の一致度

アノテーターが時間セグメントと破綻点を印したときに Potato が報告する内容、セグメントの一致度が偶然一致補正されない理由、そして破綻点の一致度を許容幅のスイープとして報告する理由。

イベントの開始時点を印す二人のアノテーターが同じフレームを選ぶことはありません。したがって時間的一致度は「どれだけ近ければ一致とみなすか」を述べる必要があります。 Potato はこの問いに、時間セグメントと破綻点とで異なる答え方をします。セグメントは閾値を超える時間 IoU で対応付け、破綻点は許容幅のスイープにわたって報告します。

時間セグメントの測度

音声と動画のセグメントについて、一致度レポートはすべての項目でアノテーターのすべての組を比較し、四つの数値を平均します。

問い測度
二組のセグメントは全体としてどの程度一致しているか平均一致度。境界の甘さ、セグメントの見落とし、ラベルの食い違いを減点する
両者がそのセグメントを見つけた場合、境界はどれだけ近いか対応付けられたセグメントの平均時間 IoU
そもそも同じセグメントを見つけたかマッチング閾値(既定値 0.5)での検出 F1
同じ数のセグメントを印したかセグメント数の平均差

セグメントの対応付けは時間 IoU だけで行います。ラベルが効くのは平均一致度だけで、対応付けられた組のラベルが異なる場合はその IoU の半分が得点になります。そのため、アノテーターがラベルでどれだけ一致しているかを単独で示す数値はありません。どちらのアノテーターも何も印さなかった組は、数には入りますが採点はされません。空の答えが二つそろっても、一致の証拠にはならないからです。

破綻点の許容幅スイープ

破綻点は、ロボットのエピソードがうまくいかなくなる瞬間のような単一の時点で、二つの破綻点が許容幅の窓に収まっていれば同じ印とみなされます。するとあらゆる数値がその窓に左右されるため、ロボットのエピソードのレポートは 0.04、0.25、0.5、1、2 秒で値を計算し、五つすべてを示します。

単一の閾値を報告すると、読み手は自分の結論を支持する許容幅を勝手に想定してしまいます。0.25 秒での一致度と 2 秒での一致度は、データについて別々の主張です。

  • 2 秒で高く 0.25 秒で低い場合、アノテーターはイベントが起きたことでは一致しているが、正確な時点では一致していません。これはたいていガイドラインの問題で、「いつ始まるか」の定義が詰められていないということです。
  • どちらでも低い場合は、そもそも起きたかどうかで意見が割れています。

各許容幅において、破綻点の一致度は検出・位置決め・カテゴリに分解されます。詳しくは世界モデルの評価を参照してください。時間セグメントにはこのようなスイープはなく、境界は時間 IoU を通してのみ評価されます。

カバー率を併記する

密な曲線、たとえばロボットのエピソードにわたる進捗報酬のトレースなどでは、一致度は ICC と Pearson にカバー率を明記して報告します。

タイムラインの 5% で計算された相関は、残りの 95% について何も語りません。そしてカバー率を伴わない係数は、あたかも全体を語っているかのように読まれてしまいます。

既知の制約

時間セグメントには補正なしの測度だけが適用され、σ も検出 α もラベル α もありません。σ の偶然ベースラインは異なる項目上の対象どうしの距離から構築されますが、クリップの長さが異なる場合、「別のクリップから取ったセグメント」は意味のある比較になりません。これを正しく扱うには独自の設計が必要であり、それが存在する前に偶然一致補正を謳うほうが、こう明記するより悪いことになります。

セグメントのラベル一致度や、複数の許容幅での境界一致度を測るには、セグメントをスパン・バウンディングボックス・区間の一致度計算ツールに貼り付けてください。このツールは許容幅スイープにわたる境界 F1 と、対応付けられたセグメントのラベルに対する α を報告します。

関連ページ

デザイン例

各デザインは、ダウンロードしてそのまま実行できる Potato の設定です。