Skip to content

画像セグメンテーションのマスクをアノテーションする方法

ポリゴン、ブラシマスク、クリック分割。それぞれが適する場面、アノテーターが従える境界ガイドラインの書き方、そしてマスクの一致度の測り方。

セグメンテーションはどのピクセルが対象に属するかをラベル付けする作業であり、その難しさのほとんどは描画ツールではなく境界の規則にあります。 同じ画像を与えられ、影についての規則を与えられなかった二人のアノテーターは系統的に食い違います。そしてツールをいくら整えてもそれは直りません。

ポリゴンかマスクか

ポリゴンブラシマスク
穴や分離した部分扱いにくい自然に扱える
細い構造（電線、髪、脚）苦手得意
形式のサポート広い：COCO、YOLO、CVAT、LabelMe狭い：COCO RLE、DAVIS、マスク PNG
編集のしやすさ頂点を動かす領域を塗り直す
保存サイズ小さいスパースでなければ大きい

ポリゴンはより多くの形式と往復できるので、ラベルがツールの外へ出ていく必要があるなら重要です。マスクは、対象に本当に穴や細片があるときの正直な答えです。

迷ったら、そのラベルを消費するモデルが何を必要とするかを見てください。セマンティックセグメンテーションモデルはどちらにせよマスクを消費します。問題はアノテーターにとってどちらが間違いにくいかだけです。

まず境界の規則を書く

ここがあなたの一致度の数値を決める部分です。次の各項目について決定し、実例を添えてください。

  • 影と反射。 含めるのか、含めないのか。一貫して。
  • 透明・半透明の部分。 グラス、フロントガラス、ビニール袋。
  • 細い構造。 電線をどこまで辿る価値があるのか。
  • 遮蔽。 見えている部分だけをマスクするのか、対象全体を推測するのか。
  • 接触。 二つのインスタンスが触れているとき、切れ目は正確にどこか。
  • モーションブラー。 ぼけた縁の境界はどこか。

規則ごとに実例を一つ示すほうが、一段落の説明文より価値があります。これでもなおアノテーターが食い違うなら、それは検出の一致度が高いのに σ が低いという形で現れます。同じ対象を見つけていて描き方が違うということであり、不注意ではなくガイドラインの問題です。

モデルから始める

クリック分割は、GPU なしのブラウザ内でおよそ 130 ミリ秒の第一案を出します。

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: objects
    description: "Outline every object."
    source_field: image
    tools: [sam, polygon, brush, eraser]
    labels:
      - {name: object, color: "#6e56cf"}
bash
potato download-models onnxruntime
potato download-models mobile_sam

正のクリックはマスクに加え、負のクリックは削り取り、ボックスは探索範囲を制約し、既存のマスクを精緻化することもできます。

修正こそがアノテーションの価値です。 アノテーターが毎回最初のマスクを受け入れているなら、あなたが集めたのはモデルが自分自身に同意した記録です。レビューと追認の見分け方を参照してください。一致度の統計はそれを教えてくれません。

マスクの一致度を測る

アノテーター間の平均 IoU を使ってはいけません。それは「彼らが一致しているか」ではなく「この課題は簡単か」に答えるものです。理由はバウンディングボックスの一致度を測る方法を参照してください。

STAPLE を使ってください。潜在的な合意境界を、アノテーターごとの感度と特異度とともに推定します。

  • 感度が低ければ過小分割、つまり真の境界の内側に描いています。
  • 特異度が低ければ過大分割、つまり周りに大きめに描いています。

両者は修正の方向が正反対であり、だからこそ単一の精度値ではアノテーターへのフィードバックとして足りないのです。

STAPLE はまた、票を数えるのではなく実証された信頼性で重み付けします。丁寧な二人が雑な三人に三対二で数負けしている場合、多数決では Dice 0.846、STAPLE では 1.000 になります。

エクスポート

COCO はポリゴンと RLE マスクを扱い、iscrowd の群衆領域も含みます。DAVIS はインスタンスごとのマスクを扱います。YOLO はポリゴンを扱いますがマスクは扱いません。ラベルが特定の場所へ届く必要があるなら、マスク中心のワークフローに踏み切る前に形式の対応表を確認してください。

参考文献