도형에 대한 일치도

Potato는 공간 일치도를 세 가지 질문으로 분해합니다. 주석자들이 같은 대상을 찾았는가, 같은 이름으로 불렀는가, 같은 위치에 두었는가. 그리고 세 번째 질문에는 원시 IoU가 아니라 경험적으로 추정한 우연 기준선을 사용해 답합니다.

원시 IoU의 문제

CVAT의 합의 엔진과 V7의 합의 단계는 둘 다 주석자들을 클래스별 임계값 대비 원시 IoU 로 비교합니다. 어느 쪽도 우연 일치 보정을 하지 않기 때문에, 대표 수치만으로는 해석할 수 없습니다.

모든 이미지에 크고 중앙에 놓인 대상이 하나씩 있는 코퍼스라면, 누가 주석을 달든 평균 IoU는 0.95 안팎이 나옵니다. 이미지를 한 번도 보지 않고 그냥 가운데에 박스를 그린 주석자까지 포함해서입니다.

"이 주석자들은 일치한다"와 "이 과제는 불일치가 생길 수 없을 만큼 쉽다"를 갈라놓는 것이 우연 일치 보정입니다.

1 − IoU 위의 Krippendorff's α는 여기서 작동하지 않는다

원래는 그렇게 하려던 계획이었지만, 경험적으로 기본값으로 삼기에 잘못된 선택이었습니다.

Braylan, Alonso, Lease(WWW 2022)는 후보 거리 함수들을 "그 결과로 나온 일치도 점수가 주석자 품질을 올바르게 순위 매기는가"라는, 실제로 중요한 성질로 평가했습니다. 그 결과 바운딩 박스에서는 α가 단순 L2(0.687)를 IoU(0.505)와 GIoU(0.507)보다 위에 놓아, 저자들 자신의 분포 기반 측도와 실무자들이 모두 제시하는 순서를 뒤집는다고 보고했습니다.

여기에는 구조적인 이유가 있습니다. IoU 거리는 [0, 1]로 제한되며 포화됩니다. 무작위로 짝지은 두 도형은 거의 언제나 IoU가 0이므로 기대 불일치가 1 근처로 무너지고, α는 1 − 평균 거리로 퇴화해 우연 일치 보정이 사실상 남지 않습니다.

원시 IoU는 가장 중요한 지점에서 평평하기도 합니다. 겹치지 않는 두 박스는 서로 맞닿아 있든 이미지의 반대쪽 모서리에 있든 점수가 0입니다. 즉 주석자들이 실제로 불일치하는 바로 그 영역에서 기울기가 없습니다.

Potato가 대신 보고하는 것

σ, 주된 측도

σ = 1 − mean(within-item distance) / mean(between-item distance)

이는 α 자체의 1 − D_o/D_e 형태를 임의의 거리로 일반화한 것으로, 우연 기준선은 서로 다른 항목의 주석끼리 비교해 경험적으로 추정합니다.

음수 값은 잘라내지 않습니다. "같은 이미지에서가 서로 다른 이미지에서보다 더 멀다"는 것은 실재하며 진단 가능한 상태이고, 이를 감추는 것은 누구에게도 도움이 되지 않습니다.

KS, 보조 측도

항목 내 거리 분포와 항목 간 거리 분포 사이의 이표본 콜모고로프–스미르노프 통계량입니다. σ는 두 평균을 비교하므로 소수의 이상치에 끌려갈 수 있지만, KS는 분포 전체를 비교하므로 항목 난이도가 들쭉날쭉해도 더 잘 버팁니다.

둘 다 보고하십시오. 두 값이 어긋난다는 사실 자체가 정보입니다. 소수의 항목이 불일치의 대부분을 떠안고 있다는 뜻이기 때문입니다.

분해

하나의 공간 일치도 수치로는 세 가지 서로 다른 실패 중 무엇이 일어났는지 말할 수 없습니다.

모든 대상을 찾아내고도 라벨을 전부 틀린 주석자와, 라벨은 맞지만 박스를 헐겁게 그린 주석자는 서로 다른 문제이며, 합쳐진 점수로는 구분할 수 없습니다.

설정

agreement_metrics:
  enabled: true

보고서는 /admin/iaa에 표시됩니다.

관련 문서

• STAPLE을 이용한 마스크 합의
• 시간적 일치도
• 가이드: 바운딩 박스의 일치도 측정하기
• 소스 문서