STAPLE을 이용한 마스크 합의

데이터셋에는 어떤 마스크를 기록해야 하고, 누가 잘 그렸는가. STAPLE은 평가자별 민감도와 특이도를 갖는 잠재 경계를 추정하며, 꼼꼼한 주석자가 수적으로 밀릴 때 다수결을 능가합니다.

일치도는 "그들이 일치하는가"에 답합니다. "데이터셋에는 어떤 마스크를 기록해야 하고, 누가 잘 그렸는가"에는 답하지 않습니다. 이것은 다른 질문이며 다른 모델이 필요합니다.

왜 MACE가 아닌가

MACE는 각 주석자를 유한하고 공유된 라벨 집합 위에서 알고 있거나 추측하는 존재로 모델링합니다. 마스크는 경계가 없는 공간에 존재하며 추정할 범주형 변수가 없습니다. 억지로 통과시키려면 라벨 집합을 지어내야 하고, 지어낸 그 집합이 답을 좌우하게 됩니다.

STAPLE(Warfield, Zou, Wells, 2004)은 의료 영상 분야에서 이 문제에 대해 확립된 도구입니다. 픽셀별 라벨에 대해 기댓값 최대화를 수행하며, 주석자별로 다음을 추정합니다.

	의미	값이 낮다는 것은
민감도	참 전경 중 얼마나 포함했는가	과소 분할 — 경계 안쪽으로 그림
특이도	참 배경 중 얼마나 올바르게 제외했는가	과대 분할 — 대상 주위를 넉넉하게 그림

둘 다 보고하는 이유는 고치는 방향이 정반대이기 때문입니다. 단일한 "정확도" 수치는 두 실패 유형을 똑같이 채점하며, 주석자에게 무엇을 바꿔야 하는지 알려주지 못합니다.

꼼꼼한 주석자의 불일치는 부주의한 주석자의 불일치보다 합의 결과를 더 크게 움직입니다. 그리고 알고리즘은 누가 어느 쪽인지를 데이터 자체에서 알아냅니다.

꼼꼼한 주석자 두 명이 부주의한 주석자 세 명에게 3대 2로 수적으로 밀리는 상황에서 측정한 결과입니다.

방법	정답 대비 Dice
다수결	0.846
STAPLE	1.000

다수결은 부주의한 세 명이 결론을 정하게 합니다. STAPLE은 꼼꼼한 두 명이 서로 일치하고 부주의한 세 명은 그렇지 않다는 점을 알아챕니다.

한 클래스에 인스턴스가 세 개인 주석자는 그 합집합을 제공합니다. STAPLE은 픽셀 단위로 비교하므로 인스턴스를 분리해 두려면 먼저 주석자 간에 대응시켜야 하는데, 그것은 검출 문제이며 도형 일치도에서 따로 다룹니다.
마스크를 가진 주석자가 두 명 미만인 항목은 조용히 버리지 않고 세어 둔 뒤 건너뜁니다. 그렇지 않으면 커버리지를 부풀리게 됩니다.

쌍별 비교는 주석자 수와 항목당 인스턴스 수 모두에 대해 이차적으로 증가합니다. 주석자 5명, 이미지당 인스턴스 50개인 프로젝트라면 이미지 하나당 25,000번의 마스크 디코딩이 되고, 관리자 페이지 로딩이 멈춰버립니다.

max_pairs라는 상한이 있으며 기본값은 200,000입니다. 이 값에 도달하면 다음과 같이 동작합니다.

항목은 통째로 건너뛰며 절반만 측정되는 일은 없습니다. 일부만 처리된 항목은 마침 처리된 주석자 쌍 쪽으로 평균을 치우치게 하기 때문입니다.
보고서는 truncated: true를 설정하고 실제로 포함된 항목 수를 명시합니다.

완전한 것처럼 읽히는 잘린 일치도 수치는 수치가 아예 없는 것보다 나쁩니다. 반드시 인용될 것이기 때문입니다.