時間維度上的一致性
標註者標記時間片段和斷點時 Potato 報告哪些內容,為什麼片段一致性沒有經過機遇校正,以及為什麼斷點一致性以容差掃描的形式報告。
兩位標註者在標記一個事件何時開始時不會選中同一幀,因此時間一致性必須說明"多接近才算一致"。 Potato 對時間片段和斷點的處理方式不同:片段按超過閾值的時間 IoU 進行匹配,斷點則在一系列容差上掃描報告。
時間片段的度量
對於音訊和影片片段,一致性報告會在每個條目上比較每一對標註者,並對四個數值取平均:
| 問題 | 度量 |
|---|---|
| 兩組片段整體上有多一致? | 平均一致度,會對邊界鬆散、片段遺漏和標籤不符扣分 |
| 兩位標註者都找到某個片段時,邊界有多接近? | 已匹配片段的平均時間 IoU |
| 他們到底有沒有找到相同的片段? | 匹配閾值下的檢測 F1,預設閾值為 0.5 |
| 他們標記的片段數量是否相同? | 片段數量的平均差值 |
片段只依據時間 IoU 進行匹配。標籤只在平均一致度中起作用:標籤不同的已匹配片段對只能得到其 IoU 的一半。因此,沒有哪個數值能單獨說明標註者在標籤上一致的頻率。兩位標註者都沒有標記任何內容的配對會被計入,但不參與打分,因為兩個空答案並不能證明一致。
斷點的容差掃描
斷點是單一的時刻,例如機器人回合出錯的那一刻;如果兩個斷點的間隔落在容差視窗之內,就算作同一個標記。這樣一來,每個數值都取決於這個視窗,因此機器人回合報告會分別在 0.04、0.25、0.5、1 和 2 秒下計算,並把五個結果全部列出。
只報告單一閾值,等於邀請讀者去挑選那個恰好支援自己結論的容差。0.25 秒下的一致性和 2 秒下的一致性,是關於這份資料的兩種不同斷言:
- 在 2 秒下高、在 0.25 秒下低,意味著標註者認同發生了某個事件,但對具體時點看法不一。這通常是規範問題:對"何時開始"的定義不夠明確。
- 兩者都低,則意味著他們連事件是否發生都存在分歧。
在每個容差下,斷點一致性都會拆解為檢測、定位與類別三部分,詳見世界模型評估。時間片段沒有這樣的掃描,其邊界只通過時間 IoU 來評判。
覆蓋率會一併報告
對於稠密曲線,例如機器人回合上的進度獎勵軌跡,一致性以 ICC 加 Pearson 的形式報告,並同時給出覆蓋率。
在時間軸 5% 的範圍上算出的相關係數,對其餘 95% 什麼也沒說;而一個不附帶覆蓋率的係數,會被當作覆蓋了全部來解讀。
一項已知侷限
時間片段只有未經校正的度量:沒有 σ,沒有檢測 α,也沒有標籤 α。σ 的機遇基線是由不同條目上物件之間的距離構建的,而當各段影片長度不同時,"來自另一段影片的片段"並不是一個有意義的比較物件。把這件事做對需要單獨的設計,在它成型之前就宣稱此處已有機遇校正,比直說沒有更糟。
如需測量片段上的標籤一致性,或多個容差下的邊界一致性,可以把片段貼上到文本片段、邊界框與時間段一致性計算器中。它會報告容差掃描下的邊界 F1,以及已匹配片段標籤上的 α。