Skip to content

이미지 분할 마스크에 주석을 다는 방법

폴리곤, 브러시 마스크, 클릭 분할. 각각이 알맞은 상황, 주석자가 따를 수 있는 경계 지침을 쓰는 법, 그리고 마스크의 일치도를 재는 법.

분할은 어떤 픽셀이 대상에 속하는지를 라벨링하는 일이며, 그 어려움의 거의 전부는 그리기 도구가 아니라 경계 규칙에 있습니다. 같은 이미지를 받고 그림자에 대한 규칙을 받지 못한 두 주석자는 체계적으로 어긋납니다. 그리고 도구를 아무리 다듬어도 그것은 고쳐지지 않습니다.

폴리곤이냐 마스크냐

폴리곤브러시 마스크
구멍과 떨어진 부분다루기 어색함자연스러움
가는 구조(전선, 머리카락, 다리)취약우수
형식 지원넓음: COCO, YOLO, CVAT, LabelMe좁음: COCO RLE, DAVIS, 마스크 PNG
편집 용이성꼭짓점을 옮김영역을 다시 칠함
저장 크기작음희소하지 않으면 큼

폴리곤은 더 많은 형식과 왕복하므로, 라벨이 도구 밖으로 나가야 한다면 중요합니다. 마스크는 대상에 실제로 구멍이나 가는 가닥이 있을 때의 정직한 답입니다.

망설여진다면 그 라벨을 소비할 모델이 무엇을 필요로 하는지 보십시오. 시맨틱 분할 모델은 어느 쪽이든 마스크를 소비합니다. 문제는 주석자에게 어느 쪽이 덜 틀리기 쉬운가뿐입니다.

경계 규칙을 먼저 쓴다

여기가 당신의 일치도 수치를 결정하는 부분입니다. 다음 각각에 대해 결정하고 예시를 제시하십시오.

  • 그림자와 반사. 포함인가 제외인가. 일관되게.
  • 투명·반투명 부분. 유리잔, 앞유리, 비닐봉지.
  • 가는 구조. 전선을 어디까지 따라 그릴 가치가 있는가.
  • 가림. 보이는 부분만 마스킹할 것인가, 대상 전체를 추정할 것인가.
  • 접촉. 두 인스턴스가 맞닿아 있을 때 경계는 정확히 어디인가.
  • 모션 블러. 흐려진 가장자리의 경계는 어디인가.

규칙마다 실제 예시 하나를 보여주는 편이 한 문단의 설명보다 값집니다. 이렇게 하고도 주석자들이 어긋난다면, 그것은 검출 일치도는 높은데 σ가 낮은 형태로 나타납니다. 같은 대상을 찾아놓고 다르게 그리고 있다는 뜻이며, 부주의가 아니라 지침의 문제입니다.

모델에서 시작한다

클릭 분할은 GPU 없이 브라우저에서 약 130밀리초 만에 초안을 냅니다.

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: objects
    description: "Outline every object."
    source_field: image
    tools: [sam, polygon, brush, eraser]
    labels:
      - {name: object, color: "#6e56cf"}
bash
potato download-models onnxruntime
potato download-models mobile_sam

양의 클릭은 마스크에 더하고, 음의 클릭은 깎아내며, 박스는 탐색 범위를 제한하고, 기존 마스크를 다듬을 수도 있습니다.

수정이야말로 주석의 가치입니다. 주석자들이 매번 첫 마스크를 그대로 받아들인다면, 당신이 모은 것은 모델이 자기 자신에게 동의한 기록입니다. 검토와 형식적 승인 구분하기를 보십시오. 일치도 통계는 그것을 알려주지 않습니다.

마스크의 일치도 측정

주석자 간 평균 IoU를 쓰지 마십시오. 그것은 "이들이 일치하는가"가 아니라 "이 과제가 쉬운가"에 답합니다. 이유는 바운딩 박스의 일치도를 측정하는 방법을 참고하십시오.

STAPLE을 쓰십시오. 잠재적인 합의 경계를 주석자별 민감도와 특이도와 함께 추정합니다.

  • 민감도가 낮으면 과소 분할, 즉 참 경계 안쪽으로 그린 것입니다.
  • 특이도가 낮으면 과대 분할, 즉 주위를 넉넉하게 그린 것입니다.

둘은 고치는 방향이 반대이며, 그래서 단일한 정확도 수치로는 주석자에게 피드백을 주기에 부족합니다.

STAPLE은 또한 표를 세는 대신 입증된 신뢰도로 가중합니다. 꼼꼼한 두 명이 부주의한 세 명에게 3대 2로 밀릴 때, 다수결은 Dice 0.846, STAPLE은 1.000이 나옵니다.

내보내기

COCO는 폴리곤과 RLE 마스크를 담으며 iscrowd 군집 영역도 포함합니다. DAVIS는 인스턴스별 마스크를 담습니다. YOLO는 폴리곤은 담지만 마스크는 담지 않습니다. 라벨이 특정한 곳으로 가야 한다면, 마스크 중심 작업 방식을 확정하기 전에 형식 대응표를 확인하십시오.

더 읽을거리