본문으로 건너뛰기

시간에 대한 일치도

주석자가 시간 구간과 붕괴 지점을 표시할 때 Potato가 보고하는 내용, 구간 일치도가 우연 일치 보정을 거치지 않는 이유, 그리고 붕괴 지점 일치도를 허용 오차 스윕으로 보고하는 이유.

이벤트가 언제 시작하는지 표시하는 두 주석자가 같은 프레임을 고르는 일은 없습니다. 따라서 시간적 일치도는 얼마나 가까워야 일치로 치는지를 밝혀야 합니다. Potato는 이 문제를 시간 구간과 붕괴 지점에 대해 서로 다르게 다룹니다. 구간은 임계값을 넘는 시간 IoU로 매칭하고, 붕괴 지점은 여러 허용 오차에 걸친 스윕으로 보고합니다.

시간 구간에 대한 측도

오디오와 비디오 구간에 대해 일치도 보고서는 모든 항목에서 모든 주석자 쌍을 비교하고 네 가지 수치를 평균합니다.

질문측도
두 구간 집합이 전체적으로 얼마나 일치하는가평균 일치도. 느슨한 경계, 놓친 구간, 어긋난 라벨에 감점을 줌
두 주석자가 모두 그 구간을 찾았을 때 경계는 얼마나 가까운가매칭된 구간의 평균 시간 IoU
애초에 같은 구간을 찾았는가매칭 임계값(기본값 0.5)에서의 검출 F1
같은 개수의 구간을 표시했는가구간 개수의 평균 차이

구간은 시간 IoU만으로 매칭합니다. 라벨은 평균 일치도에서만 반영되며, 매칭된 쌍의 라벨이 다르면 IoU의 절반만 점수로 받습니다. 따라서 주석자들이 라벨에서 얼마나 자주 일치하는지를 단독으로 알려주는 수치는 없습니다. 두 주석자 모두 아무것도 표시하지 않은 쌍은 개수에는 들어가지만 점수는 매기지 않습니다. 빈 답 두 개는 일치의 증거가 아니기 때문입니다.

붕괴 지점에 대한 허용 오차 스윕

붕괴 지점은 로봇 에피소드가 잘못되는 순간처럼 하나의 시점이며, 두 붕괴 지점이 허용 오차 범위 안에 들어오면 같은 표시로 칩니다. 그러면 모든 수치가 그 범위에 좌우되므로, 로봇 에피소드 보고서는 0.04, 0.25, 0.5, 1, 2초에서 값을 계산하고 다섯 개를 모두 보여줍니다.

임계값을 하나만 보고하면 읽는 사람이 자기 결론을 뒷받침하는 허용 오차를 마음대로 가정하게 됩니다. 0.25초에서의 일치도와 2초에서의 일치도는 데이터에 대한 서로 다른 주장입니다.

  • 2초에서 높고 0.25초에서 낮다면, 주석자들은 이벤트가 일어났다는 데는 동의하지만 정확히 언제인지에는 동의하지 않는 것입니다. 대개 지침의 문제이며, "언제 시작하는가"의 정의가 충분히 규정되지 않았다는 뜻입니다.
  • 둘 다 낮다면 애초에 그 일이 일어났는지를 두고 의견이 갈리는 것입니다.

각 허용 오차에서 붕괴 지점 일치도는 세계 모델 평가에서 설명하듯이 검출·위치 지정·범주로 분해됩니다. 시간 구간에는 이런 스윕이 없으며, 경계는 시간 IoU를 통해서만 판단합니다.

커버리지를 함께 보고합니다

조밀한 곡선, 예컨대 로봇 에피소드 전반에 걸친 진행 보상 트레이스 같은 경우, 일치도는 ICC와 Pearson에 커버리지를 명시해 보고합니다.

타임라인의 5%에서 계산한 상관은 나머지 95%에 대해 아무것도 말해주지 않습니다. 그리고 커버리지를 달고 있지 않은 계수는 마치 전체를 말하는 것처럼 읽히게 됩니다.

알려진 한계

시간 구간에는 보정되지 않은 측도만 적용되며, σ도 검출 α도 라벨 α도 없습니다. σ의 우연 기준선은 서로 다른 항목에 있는 대상 간 거리로 만들어지는데, 클립 길이가 서로 다를 때 "다른 클립에서 가져온 구간"은 의미 있는 비교가 되지 않습니다. 이를 제대로 다루려면 별도의 설계가 필요하며, 그것이 마련되기 전에 여기서 우연 일치 보정을 표방하는 것은 이렇게 밝히는 것보다 나쁜 선택입니다.

구간의 라벨 일치도나 여러 허용 오차에서의 경계 일치도를 측정하려면 구간을 스팬·박스·구간 일치도 계산기에 붙여 넣으십시오. 이 계산기는 허용 오차 스윕에 걸친 경계 F1과, 매칭된 구간의 라벨에 대한 α를 보고합니다.

관련 문서

예시 디자인

각 디자인은 내려받아 바로 실행할 수 있는 Potato 설정입니다.