시간에 대한 일치도
구간 경계에 대한 시간 IoU, 경계 α, 그리고 붕괴 지점 일치도를 단일 임계값이 아니라 허용 오차 스윕으로 보고하는 이유.
이벤트가 언제 시작하는지 표시하는 두 주석자가 같은 프레임을 고르는 일은 없습니다. 따라서 시간적 일치도는 얼마나 가까워야 일치로 치는지를 밝혀야 하며, 그 선택이 답을 바꿉니다. Potato는 임계값을 하나 골라주는 대신 스윕을 보고합니다.
무엇을 측정하는가
| 질문 | 측도 |
|---|---|
| 구간이 겹치는가 | 시간 IoU |
| 경계가 같은 위치에 놓이는가 | 경계 α |
| 같은 종류의 이벤트를 표시했는가 | 라벨에 대한 명목 α |
| 애초에 이벤트가 있었다는 데 동의하는가 | 검출 α |
허용 오차 스윕
붕괴 지점과 경계 주석에서 일치도는 매칭 허용 오차에 좌우됩니다. 두 표시가 얼마나 떨어져 있어도 같은 표시로 칠 것인가 하는 값입니다.
임계값을 하나만 보고하면 읽는 사람이 자기 결론을 뒷받침하는 허용 오차를 마음대로 가정하게 됩니다. 0.25초에서의 일치도와 2초에서의 일치도는 데이터에 대한 서로 다른 주장입니다.
- 2초에서 높고 0.25초에서 낮다면, 주석자들은 이벤트가 일어났다는 데는 동의하지만 정확히 언제인지에는 동의하지 않는 것입니다. 대개 지침의 문제이며, "언제 시작하는가"의 정의가 충분히 규정되지 않았다는 뜻입니다.
- 둘 다 낮다면 애초에 그 일이 일어났는지를 두고 의견이 갈리는 것입니다.
그래서 보고서는 허용 오차를 훑으며 곡선을 보여줍니다. 붕괴 지점 일치도가 검출·위치 지정·범주로 한 번 더 분해되는 세계 모델 평가도 함께 보십시오.
커버리지를 함께 보고합니다
조밀한 곡선, 예컨대 로봇 에피소드 전반에 걸친 진행 보상 트레이스 같은 경우, 일치도는 ICC와 Pearson에 커버리지를 명시해 보고합니다.
타임라인의 5%에서 계산한 상관은 나머지 95%에 대해 아무것도 말해주지 않습니다. 그리고 커버리지를 달고 있지 않은 계수는 마치 전체를 말하는 것처럼 읽히게 됩니다.
알려진 한계
시간 구간에는 현재 보정되지 않은 측도만 적용됩니다. σ의 우연 기준선은 항목 간 거리로 만들어지는데, 클립 길이가 서로 다를 때 "다른 클립에서 가져온 구간"은 의미 있는 비교가 되지 않습니다. 이를 제대로 다루려면 별도의 설계가 필요하며, 그것이 마련되기 전에 여기서 우연 일치 보정을 표방하는 것은 이렇게 밝히는 것보다 나쁜 선택입니다.