바운딩 박스를 위한 우연 보정 일치도
이미지를 전혀 보지 않는 주석자라도 주석자 간 평균 IoU는 0.95 가까이 유지될 수 있습니다. Potato의 σ는 다른 이미지들로부터 우연 기준선을 추정합니다.
주석자 간 원시 IoU는 공간 과제가 얼마나 제약되어 있는지를 따라가므로, 크고 가운데에 놓인 대상으로 이루어진 코퍼스에서는 이미지를 전혀 보지 않는 주석자에 대해서도 0.95 가까이 유지될 수 있습니다. 일치도는 우연 보정 계수로 측정해야 합니다.
우리가 찾아본 컴퓨터 비전 주석 플랫폼 중 주석자 간 일치도를 보고하는 곳은 모두 그것을 클래스별 임계값에 대한 원시 IoU(합집합 대비 교집합)로 보고합니다. CVAT의 합의 엔진이 그렇고, V7의 합의 단계도 그렇습니다. Label Studio Enterprise의 지표 목록은 완전 일치, 수치 차이, IoU, 스팬 겹침입니다. 어느 것도 우연 보정을 적용하지 않으며, 보정이 없으면 그 수치는 겉보기와 같은 뜻을 갖지 못합니다.
가운데에 놓인 대상으로 이루어진 코퍼스의 평균 IoU
각 이미지에 크고 대체로 가운데에 놓인 대상이 하나씩 있는 검출 코퍼스를 생각해 봅시다. 두 주석자가 모두 그 둘레에 박스를 그리고, 박스는 크게 겹치며, 평균 IoU는 0.95 안팎으로 나오고, 대시보드는 일치도가 훌륭하다고 말합니다. 이제 한쪽 주석자를 이미지를 보지 않고 모든 이미지 한가운데에 박스를 그리는 절차로 바꿔도 평균 IoU는 0.95 안팎에 머뭅니다. 이 측도가 보고하는 것은 주석자의 성질이 아니라 코퍼스의 성질(과제가 얼마나 제약되어 있는가)입니다.
일치율은 한 클래스가 지배적일 때 범주형 라벨에서 똑같이 실패합니다. 이 실패는 Cohen이 1960년에 κ를 도입한 이래로 이해되어 왔는데도, 위의 플랫폼들은 그에 상응하는 보정 없이 공간 일치도를 보고합니다.
IoU 거리 위의 Krippendorff's α
Krippendorff's α는 어떤 거리 함수든 받아들이므로 손쉬운 수는 1 − IoU 위의 α이고, 그것이 우리의 원래 계획이었습니다. 그러나 이는 구조적인 이유로 실패합니다. α는 1 − D_o/D_e를 계산하는데, 여기서 D_e는 무작위 짝짓기에서 기대되는 불일치입니다. IoU 거리는 [0, 1]로 제한되고, 무작위로 짝지은 두 박스는 거의 언제나 IoU가 0입니다. 그래서 D_e는 대략 1로 무너지고, 계수 전체가 작동하는 우연 보정을 안에 갖지 않는 1 − mean observed distance으로 퇴화합니다.
IoU는 주석자들이 실제로 갈리는 바로 그 지점에서 평평하기도 합니다. 겹치지 않는 두 박스는 맞닿아 있든 이미지의 반대쪽 모서리에 있든 0점이기 때문입니다. 이 측도는 정작 관심 있는 영역에서 기울기를 갖지 않습니다.
이 반론은 경험적으로도 성립합니다. Braylan, Alonso, Lease(WWW 2022)는 후보 거리 함수를 평가할 때, 일치도 측도가 그 거리들을 선행 연구와 같은 순서로 나열하는지를 기준으로 삼았으며, 더 세밀하고 라벨 오류에 더 민감한 거리일수록 높게 평가했습니다. 바운딩 박스의 경우 α는 단순 L2(0.687)를 GIoU(0.507)와 IoU(0.505)보다 높게 매기는 반면, 두 분포 기반 측도는 GIoU, IoU, L2 순이라는 기대된 순서를 보여 줍니다.
σ 계수와 경험적 우연 기준선
그래서 우리는 대신 σ를 보고합니다. σ는 α의 형태를 유지하면서 우연 기준선을 다른 항목들의 주석으로부터 경험적으로 추정합니다. 이름과 항목 간 기준선은 Braylan, Alonso, Lease에서 온 것이며, 그들의 σ는 관측된 거리 중 항목 간 분포를 유의하게 밑도는 것의 비율입니다. Potato의 σ는 더 단순한 평균의 비입니다.
σ = 1 − mean(within-item distance) / mean(between-item distance)분모는 무작위 짝짓기의 분포를 가정하는 대신 서로 다른 항목의 주석을 비교합니다. 이 비교는 "이 주석자들이 같은 것을 보고 있지 않았다면 얼마나 떨어져 있었겠는가"에 대한 경험적 답을 주며, 이것이 바로 우연 기준선이 해야 할 일입니다.
σ는 다음과 같이 읽습니다.
| σ | 해석 |
|---|---|
| 1.0 | 완벽한 일치 |
| 0.0 | 서로 무관한 이미지에 주석을 다는 것보다 나을 것이 없음 |
| 0 미만 | 같은 이미지에서 다른 이미지에서보다 체계적으로 더 멀리 떨어져 있음 |
음수 값은 0으로 자르지 않습니다. 음수 σ는 실재하며 진단할 수 있는 상태이고, 거의 언제나 주석자가 부주의하다기보다 지침이 모호하다는 뜻입니다. 값을 자르면 그 신호가 가려집니다.
σ와 함께 항목 내 거리 분포와 항목 간 거리 분포 사이의 이표본 Kolmogorov–Smirnov(KS) 통계량도 보고합니다. σ는 두 평균을 비교하므로 이상치에 끌려갈 수 있지만, KS는 분포 전체를 비교합니다. σ와 KS가 엇갈리면 소수의 항목이 불일치 대부분을 떠안고 있다는 뜻이며, 어느 항목을 열어 봐야 하는지 알려 줍니다.
검출, 분류, 위치 지정을 별개의 수치로
우연 보정이 올바르게 되어 있더라도 하나의 공간 일치도 수치로는 세 가지 중 무엇이 잘못되었는지 말할 수 없습니다.
- 검출. 애초에 같은 객체를 찾았는가?
- 분류. 짝이 맞는 객체에 같은 레이블을 붙였는가?
- 위치 지정. 짝이 맞는 객체가 같은 위치에 있는가?
모든 객체를 찾고도 전부 잘못 라벨링하는 주석자는 라벨은 맞게 달지만 박스를 느슨하게 그리는 주석자와 전혀 다른 문제이며, 해결책도 다릅니다. 그래서 Potato는 이 셋을 따로 보고합니다.
마스크에는 STAPLE, 3D 큐보이드에는 회전 IoU
픽셀 마스크에서는 "일치하는가"와 "데이터셋이 누구의 경계를 기록해야 하는가"가 서로 다른 질문입니다. STAPLE은 잠재적 합의 경계를 주석자별 민감도 및 특이도와 함께 추정하여 두 번째 질문에 답합니다. 과소 분할과 과대 분할은 해결책이 반대이므로 두 값은 따로 보고합니다.
STAPLE은 표를 세는 대신 입증된 신뢰도로 가중하기도 하는데, 이는 신중한 주석자가 수에서 밀릴 때 중요합니다. Potato의 STAPLE 테스트는 실제 전경이 20 × 20 정사각형인 40 × 40 픽셀 이미지를 설정합니다. 신중한 주석자 둘은 이를 정확히 따라 그리고, 노이즈가 있는 주석자 셋은 각각 정사각형 픽셀의 약 절반만 남기면서 이미지의 약 35%를 무작위로 표시합니다. 5명 중 3명 다수결은 그 정답에 대해 Dice 0.846을 기록하고, STAPLE은 1.000을 기록합니다.
3D 큐보이드에는 정확한 회전 3D IoU를 쓰세요. 축 정렬 근사는 수평을 유지하는 자율주행 데이터에는 적절하지만 드론, 손에 든 카메라, 실내 스캔에서는 틀리며, 그런 곳에서는 측도의 인공물에 불과한 불일치를 만들어 냅니다.
이미지 조정 버그와 σ의 한계
버그가 먼저였습니다. Potato의 조정(adjudication) 기능은 주석의 키를 비교했는데, 이미지 스킴은 모든 것을 _data라는 하나의 키 아래 저장하므로 모든 이미지 쌍이 일치도 1.0을 받았습니다. 아무것도 합의하지 않은 두 주석자가 만장일치처럼 보였고, 검토로 넘어간 이미지는 하나도 없었습니다.
버그를 고치려면 올바른 수치가 무엇이었을지 물어야 했습니다. 서로 다른 항목의 주석에서 끌어온 우연 기준선과 KS 비교는 모두 Braylan, Alonso, Lease를 따릅니다. 이 측도에는 명시된 한계가 하나 있습니다. 시간 구간은 현재 보정되지 않은 측도만 받는데, 클립 길이가 다를 때 "다른 클립에서 가져온 구간"은 의미 있는 우연 비교가 아니기 때문입니다.
더 읽어 보기
참고문헌
이 글에서 인용한 문헌을 처음 언급된 순서대로 나열합니다.
Jacob Cohen (1960). A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement. https://doi.org/10.1177/001316446002000104
Alexander Braylan, Omar Alonso & Matthew Lease (2022). Measuring Annotator Agreement Generally across Complex Structured, Multi-object, and Free-text Annotation Tasks. Proceedings of the ACM Web Conference 2022. https://doi.org/10.1145/3485447.3512242
S. K. Warfield, K. H. Zou & W. M. Wells (2004). Simultaneous Truth and Performance Level Estimation (STAPLE): An Algorithm for the Validation of Image Segmentation. IEEE Transactions on Medical Imaging. https://doi.org/10.1109/TMI.2004.828354