バウンディングボックス、ポリゴン、キーポイント、キューボイドのアノテーション
ビジョンモデルに必要なアノテーション形状を選び、形状ごとのオブジェクト単位のコストを比較し、Potato でどの形状でもアノテーター間の一致度を測定します。
アノテーションの形状は、モデルが予測するものから選びます。物体検出器はバウンディングボックスで、インスタンスセグメンテーションモデルはポリゴンまたはマスクで、姿勢モデルはキーポイントセットで、3D 検出器は点群に描いたキューボイド で学習します。ガイドラインやモデルがまだ変わる段階では、ボックスから始めてください。ボックスは、領域形状の中で描くのも確認するのも最も安価だからです。
アノテーション形状とは、画像やスキャンの中でオブジェクトがある場所を示すために、アノテーターが描く幾何図形です。バウンディングボックスは、オブジェクトを囲む軸に平行な長方形で、4 つの数値として保存されます。ポリゴンはオブジェクトの輪郭をたどる頂点の閉じた連鎖であり、ポリライン(polyline)は長さを持ち面積を持たない開いた折れ線です。キーポイントセットは、スケルトンの辺で結ばれた名前付きの点を順に並べたリストで、姿勢推定のモデルを学習させます。キューボイド は 3 次元のボックスです。アノテーターは、キューボイド をカメラ画像上の投影として描くか、点群内の向き付きボックスとして描きます。
Potato は、自分のサーバーで動作する無料のオープンソースのアノテーションツールで、このガイドでは Potato のツールを実例として使います。以下の 2D 形状はすべて Potato の image_annotation スキームのツールであり、3D キューボイド は spatial_annotation スキームに属します。画像セグメンテーションマスクのアノテーション方法ではマスクを詳しく扱い、3D 点群のアノテーション方法では LiDAR の作業を扱い、画像アノテーションツールの比較では Potato を他のツールと比較します。
モデルの種類ごとに必要な形状
モデルは、ラベルにエンコードされたものしか学習しません。次の表は、モデル出力の種類ごとに、描く形状、Potato のツール、そして 2 人のアノテーターが同じオブジェクトを描いたかどうかを Potato が判定するときに使う類似度を対応させたものです。
| モデルが予測するもの | 描くもの | Potato のツール | 2 人のアノテーターの形状の比較方法 |
|---|---|---|---|
| オブジェクトごとのクラスと長方形(物体検出) | バウンディングボックス | bbox | ボックス IoU |
| オブジェクトごとのクラスと輪郭(インスタンスセグメンテーション。例: Mask R-CNN) | ポリゴン。穴や細い部分がある場合はマスク | polygon、または mask_mode: instance を指定した brush | ポリゴン IoU またはマスク IoU |
| ピクセルごとのクラス(セマンティックセグメンテーション) | マスク | brush、fill、sam | マスク IoU |
| 細胞や核のような丸いオブジェクト | 楕円 | ellipse | 36 頂点ポリゴンの IoU |
| 車線の区画線やひび割れなどの線 | ポリライン | polyline | 距離の許容範囲内での境界 F1 |
| 姿勢のための関節位置 | スケルトン付きのキーポイントセット | keypoint_set | Object Keypoint Similarity(OKS) |
| カウントのための、オブジェクトごとに 1 か所の位置 | ランドマーク | landmark | 距離。画像の 5% 離れると 0 点 |
| 1 枚のカメラ画像からの 3D ボックス | 投影キューボイド | cuboid_2d | 前面の IoU |
| LiDAR や深度データ中の 3D ボックス | 3D キューボイド | spatial_annotation の cuboid_3d | 回転を考慮した正確な 3D IoU |
モデルが必要とするより豊かな形状は、アノテーターの時間を消費するだけで、学習時には何の利益ももたらしません。モデルが必要とするより貧弱な形状は、後から修復できません。ボックスには輪郭がありませんが、どんな輪郭でも、それを囲むボックスはエクスポート時に計算でき、Potato の COCO エクスポートはすべてのポリゴンとマスクに bbox を書き出します。
オブジェクトごとの描画コスト
オブジェクトごとのアノテーションコストは、アノテーターが置いて確認する点の数に応じて増えます。ボックスとポリゴンについては公表された計測値があり、いずれも大規模なクラウドソーシングのデータセットで、そのプロジェクト独自のインターフェースを使って測定されたものです。
- バウンディングボックス。 Papadopoulos ら(2017)の報告によると、ILSVRC データセットで高品質のボックスを 1 つ描くのに 35 秒かかりました。同じ論文は、極値クリックでは 1 ボックスあたり 7 秒だったと報告しています。極値クリックでは、アノテーターがオブジェクトの最上点、最下点、最左点、最右点をクリックします。Potato の
bboxツールは、従来どおり長方形をドラッグする方式です。 - ポリゴン。 COCO のためにオブジェクトインスタンスの輪郭を描くのに、1,000 個のセグメンテーションあたり 22 作業者時間以上、つまりオブジェクトあたり約 79 秒かかりました(Lin ら、2014)。
- キーポイントとキューボイド。 キーポイントセットや 3D キューボイド について、出典と照合できる公表済みのオブジェクトあたりの所要時間は、Potato チームには見つかりませんでした。パイロットで自分のデータを計測してください。
この 2 つの計測値は、異なるデータセットとインターフェースによるものです。この 2 つの数字は、自分のデータにおける比率ではなく、桁の目安として扱ってください。候補となる各形状を、自分の画像で短いパイロットとして計時してください。Potato の描画テレメトリは、確定した各形状をタイムスタンプと頂点数とともに記録し、アノテーションコスト計算ツールは、オブジェクトあたりの時間を予算に換算します。
形状ごとの一致度の指標
形状に関する一致度は、マッチングから始まります。Potato は、同じ画像上で、あるアノテーターのオブジェクトを別のアノテーターのオブジェクトと対応づけ、2 つの集合が許す限り多くの組が閾値を超えるように対応づけます。形状の類似度が 0.5 に達すると、2 つの形状は同じオブジェクトと数えられます。Potato は、0.5 という閾値を COCO の検出の慣例から採っています。ボックスは IoU で、ポリゴンと楕円は面積の IoU で、投影キューボイド は前面の IoU で比較します。ポリラインには IoU で測れる内部がないため、Potato は境界 F1 でポリラインを採点します。境界 F1 は、各軌跡の点のうち他方の軌跡の近くにある点の割合の調和平均です。
キーポイントセットは、Object Keypoint Similarity(OKS)で比較します。OKS は COCO がキーポイント評価のために定義したもので、各関節の距離を、オブジェクトの大きさと関節ごとに設定された許容値で正規化します。COCO は、定数を目で 0.025、股関節で 0.107 に設定しています。アノテーターは、股関節よりも目のほうが一貫して置けるためです。どちらかのアノテーターがラベル付けしなかった関節は、Potato がスキップします。関節の欠落と関節のずれは、異なる種類の不一致だからです。
/admin/iaa のレポートは、そのうえで不一致を 3 つの問いに分けます。
- 検出。 アノテーターは同じオブジェクトを見つけたか。Potato は、有無に関する名義尺度の Krippendorff's α を報告します。
- 分類。 対応づけられたオブジェクトに同じラベルが付いたか。Potato は、対応づけられたオブジェクトのラベルに関する名義尺度の Krippendorff's α を報告します。
- 位置特定。 対応づけられたオブジェクトは同じ場所にあるか。σ は、同じ画像上で対応づけられたオブジェクト間の平均距離を、異なる画像上のオブジェクト間の平均距離と比べ、Kolmogorov–Smirnov 統計量でその 2 つの分布を比較します。
σ は、完全に一致していれば 1 で、アノテーターの一致が、無関係な画像を扱ったアノテーター同士の一致を上回らなければ 0 です。大きく中央に位置するオブジェクトのコーパスでは、誰がボックスを描いても、生の平均 IoU は高く出ますが、σ はそのタスクの易しさを補正します。Braylan ら(2022)のベンチマークでは、IoU 距離で計算した Krippendorff's α は、単純な L2 距離で計算した α よりも、アノテーターの質を悪く順位づけました。そこで Potato は、IoU 距離に基づく α ではなく σ を報告します。空間ラベルに対して偶然補正済みの一致度を報告する他のアノテーションプラットフォームは、私たちの知る限り見つかっていません。バウンディングボックスでアノテーター間一致度を測る方法はこの手法を説明し、幾何に対する一致度はそのレポートを説明します。
σ の内部で使う既定の距離は、対応づけられた各オブジェクトを囲むボックスに対する GIoU です。そのため、ポリゴン、ポリライン、キーポイントセットでは、位置特定の σ は囲みボックスがどこにあるかを測ります。形状自体の類似度は、マッチングと検出スコアを通じて効いてきます。
3D キューボイド には別のレポートがあります。Potato は、任意の回転について 2 つのキューボイド の体積 IoU を正確に計算し、3D IoU が 0.25 に達すると、2 つのキューボイド を 1 つのオブジェクトと数えます。対応づけられなかったキューボイド は完全な不一致として数え、対応づけられてもラベルが異なるキューボイド は半分の得点とし、レポートはアノテーターの組ごとの平均を示します。3D レポートにはチャンスのベースラインがありません。シーケンスでは、Potato はキーフレーム間を補間したボックスで各フレームを採点し、アノテーターの各組のトラック間について、MOTA、IDF1、ID スイッチを加えます。参考として、KITTI 3D 物体ベンチマークは、車で 70%、歩行者と自転車で 50% の 3D 重なりを求めています。
ボックスから始めて後で細かくする
クラスのリストやガイドラインがまだ動いているときは、最初の形状としてボックスが適切です。ボックスはガイドラインの変更後にすぐ描き直せますし、ボックスの一致度を見れば、そもそもアノテーターが同じオブジェクトを見つけているかどうかが早い段階でわかります。検出の Krippendorff's α が低ければ、オブジェクトの定義が不明確だと考えられます。より精密な形状では、不明確な定義は直りません。
ボックスから細かい形状へ進む道は 3 つあります。
- ボックスからマスクへ。
samツールでは、ボックスをドラッグすると、そのボックスの内側のマスクをセグメンテーションモデルに求めます。このモデルは、potato download-models onnxruntimeとpotato download-models mobile_samを実行した後、アノテーターのブラウザ内で動作します。 - 検出器のための輪郭。 Roboflow の 2023 年 7 月 19 日の記事は、両方の方法でラベル付けした 408 枚の消火栓画像のデータセットで、YOLOv8 をゼロから学習させた結果を報告しています。ポリゴンのラベルのほうが mAP50 は高くなりました。Potato チームは、この記事を 2026 年 11 月 17 日に読みました。Roboflow の結果は、1 つのデータセットと 1 つのモデルに関するものです。輪郭にお金をかける前に、自分のデータでその効果を試してください。
- クラスごとに形状を変える。 1 つの
image_annotationスキームで複数のツールを有効にできます。プロジェクトでは、ほとんどのクラスをボックスにし、モデルが境界を必要とするクラスだけを輪郭にすることができます。
Potato は、種類の異なる形状を対応づけることはありません。そのため、あるアノテーターがボックスで、別のアノテーターが輪郭で描いたクラスは、完全な不一致として採点されます。各クラスの形状は、アノテーションガイドラインに書いてください。
Potato での各形状
最初の設定は完全なものです。以降の各ブロックは、最初の設定の annotation_schemes リストを置き換えます。
バウンディングボックス
Potato は、ボックスを画像に対して正規化した座標の {x, y, width, height} として保存します。ボックスは軸に平行です。上空から見た船のような回転したオブジェクトの角度は、4 頂点のポリゴンで記録します。データファイルの各行には、id と image_url が入っています。
annotation_task_name: "Street scene detection"
task_dir: "."
data_files:
- "data/images.jsonl"
item_properties:
id_key: id
text_key: image_url
output_annotation_dir: "annotation_output/"
annotation_schemes:
- annotation_type: image_annotation
name: objects
description: "Draw a tight box around every car, person, and bicycle."
tools: [bbox]
min_annotations: 1
labels:
- {name: car, color: "#FF6B6B", key_value: "1"}
- {name: person, color: "#4ECDC4", key_value: "2"}
- {name: bicycle, color: "#45B7D1", key_value: "3"}
agreement_metrics:
enabled: true
num_annotators_per_item: 2num_annotators_per_item: 2 は、各画像を 2 人のアノテーターに割り当てます。一致度を求めるには、各画像に少なくとも 2 つのアノテーションが必要です。min_annotations: 1 は空の提出を拒否し、すべての画像に少なくとも 1 つのオブジェクトがあるコーパスに向いています。検出器向けのエクスポートは、エクスポート CLI で行います。
python -m potato.export --config config.yaml --format coco --output ./export/
python -m potato.export --config config.yaml --format yolo --output ./export/1 つ目のコマンドは COCO の annotations.json を書き出し、2 つ目のコマンドは画像ごとに 1 つの YOLO ラベルファイルを、data.yaml と classes.txt とともに書き出します。入力したオブジェクト名からボックスを描く方法は、名前を入力してオブジェクトにラベルを付ける方法を参照してください。
ポリゴンと楕円
アノテーターは、頂点ごとにクリックし、ダブルクリックで閉じてポリゴンを描きます。ポリゴンには少なくとも 3 つの頂点が必要です。モデルが境界を使い、オブジェクトが中身の詰まったものである場合は、ポリゴンを使ってください。楕円は、1 回のドラッグで丸いオブジェクトに合わせられ、Potato は楕円を中心、2 つの半径、角度として保存します。エクスポートでは、各楕円を 36 頂点のポリゴンとして書き出すため、ポリゴンを読めるすべての形式が楕円も読めます。
annotation_schemes:
- annotation_type: image_annotation
name: nuclei
description: "Outline every nucleus. Use the ellipse for round nuclei and the polygon for irregular ones."
tools: [polygon, ellipse]
labels:
- {name: nucleus, color: "#E6194B", key_value: "1"}BBBC038 細胞核の輪郭デザインと SpaceNet 建物フットプリントのデザインは、完全なポリゴンのタスクです。
ポリライン
ポリラインは 2 つ以上の点からなる開いた経路で、アノテーターはダブルクリックでポリラインを終えます。車線の区画線、ひび割れ、血管、ケーブル、海岸線はポリラインのオブジェクトです。区画線やひび割れには長さがあっても内部がないためです。ポリラインを閉じてポリゴンにすると、アノテーターが描いていない面積を主張することになります。COCO には開いた経路の型がなく、Potato の COCO エクスポートは、各ポリラインを空の segmentation と area: 0 で書き出し、点は標準外の polyline キーの下に置きます。
annotation_schemes:
- annotation_type: image_annotation
name: lanes
description: "Trace each lane marking from the bottom of the image to where the marking ends."
tools: [polyline]
labels:
- {name: solid_line, color: "#F1C40F", key_value: "1"}
- {name: dashed_line, color: "#3498DB", key_value: "2"}キーポイントセットとスケルトン
キーポイントセットは、順序付きの点のリストを保持する 1 つのアノテーションです。skeletons ブロックは各点に名前を付け、点どうしをつなぐ辺をインデックスで列挙し、順序が各点の意味を決めます。アノテーターは宣言された順に点を置き、最後の名前を置いたところでセットが完成します。残りの関節がフレームの外にある場合は、ダブルクリックでセットを早めに終えられます。
annotation_schemes:
- annotation_type: image_annotation
name: pose
description: "Place each joint of every visible person in the skeleton's order."
tools: [keypoint_set]
labels: [person]
skeletons:
coco_person:
names: [nose, left_eye, right_eye, left_ear, right_ear,
left_shoulder, right_shoulder, left_elbow, right_elbow,
left_wrist, right_wrist, left_hip, right_hip,
left_knee, right_knee, left_ankle, right_ankle]
edges: [[0,1],[0,2],[1,3],[2,4],[5,6],[5,7],[7,9],[6,8],[8,10],
[5,11],[6,12],[11,12],[11,13],[13,15],[12,14],[14,16]]Potato の COCO エクスポートは、各セットを可視性フラグ付きの COCO keypoints 配列として書き出します。一致度には、COCO の関節ごとの定数を使った OKS を用います。COCO は、上記の 17 点の人物スケルトンに対して定数を定めており、独自のスケルトンの関節は、COCO の同じインデックスの関節の定数を使います。関節ごとに 1 つのラベルを付けた landmark の点に分けるとグルーピングが失われ、1 枚の画像に写る 2 人が 1 つの点の山になってしまいます。
セグメンテーションマスク
マスクはピクセルにラベルを付け、穴や細い部分のあるオブジェクトに向いています。Potato の brush、eraser、fill、sam の各ツールがマスクを描きます。mask_mode: semantic は、クラスのすべてのストロークを 1 つの領域にまとめ、mask_mode: instance は、各オブジェクトを別々に保ちます。
annotation_schemes:
- annotation_type: image_annotation
name: instances
description: "Paint each animal as its own object."
tools: [brush, eraser, fill]
mask_mode: instance
labels: [cat, dog]画像セグメンテーションマスクのアノテーション方法は境界のルールとクリックによるセグメンテーションを扱い、STAPLE によるマスクの合意は、複数のアノテーターのマスクを統合する方法を扱います。
投影キューボイド
cuboid_2d ツールは、KITTI 方式で 1 枚のカメラ画像上に 3D ボックスを描きます。アノテーターは、見えている前面をドラッグし、次に 1 回クリックして奥行きのオフセットを設定します。Potato は、前面を奥行きオフセットだけずらして背面を作り、両方の面を四角形として保存します。したがって、描かれたボックスには遠近による拡大縮小がなく、メートル単位の奥行きもありません。画像しかなく、モデルがオブジェクトの見えている範囲とおおよその向きを必要とする場合に、cuboid_2d を使ってください。メートル単位の位置を予測する 3D 検出器には、点群内のキューボイド が必要です。
annotation_schemes:
- annotation_type: image_annotation
name: vehicles
description: "Drag the face of each vehicle nearest the camera, then click to set the depth."
tools: [cuboid_2d]
labels:
- {name: car, color: "#FF6B6B", key_value: "1"}
- {name: truck, color: "#4ECDC4", key_value: "2"}点群内の 3D キューボイド
cuboid_3d ツールを使う spatial_annotation スキームは、LiDAR や深度の点群に向き付きボックスを描きます。各ボックスは、中心、メートル単位のサイズ、回転を保存し、すべてセンサー座標系で表します。cuboid_3d を有効にすると、ビューアに 3 つの正射影のスラブビューが加わり、新しいボックスは、その底面の範囲内の点に合わせて高さがスナップします。calibration_field で指定したキャリブレーションファイルがあると、各ボックスを画像に投影して 2D で確認するカメラパネルが有効になります。各アイテムは、点群を point_cloud フィールドで、キャリブレーションを calibration フィールドで指定します。
annotation_schemes:
- annotation_type: spatial_annotation
name: objects
description: "Put an oriented 3D box around every vehicle and pedestrian."
source_field: point_cloud
calibration_field: calibration
tools: [cuboid_3d]
labels:
- {name: car, color: "#FF6B6B", key_value: "1"}
- {name: pedestrian, color: "#FFD93D", key_value: "2"}python -m potato.export --config config.yaml --format kitti_3d --output ./export/ は、キューボイド 用の KITTI ラベルファイルを書き出します。KITTI デザインと nuScenes 3D キューボイド デザインは完全なタスクで、3D 点群とキューボイドはすべてのオプションを一覧にしています。
よくある質問
バウンディングボックスとポリゴンのアノテーションの違いは何ですか?
バウンディングボックスは、オブジェクトの位置と広がりを、軸に平行な 1 つの長方形として記録し、ポリゴンは、オブジェクトの輪郭を頂点の閉じた連鎖として記録します。ボックスは物体検出器を学習させ、ポリゴンはインスタンスセグメンテーションモデルを学習させるうえ、囲みボックスも得られます。公表されているクラウドソーシングの計測値では、オブジェクトあたりボックスが 35 秒、COCO のポリゴンが約 79 秒で、各数値の背後にあるインターフェースは異なります。Potato は、2 人のアノテーターのボックスをボックス IoU で、2 つのポリゴンを面積の IoU で比較します。
3D キューボイド アノテーションとは何ですか?
3D キューボイド アノテーションは、LiDAR の点群やその他の 3 次元データの各オブジェクトの周りに、向き付きのボックスを描くものです。同じタスクは、3D バウンディングボックスのアノテーションとも呼ばれます。各キューボイド は、オブジェクトの中心、メートル単位のサイズ、オブジェクトの回転を記録し、3D 物体検出器はそのキューボイド で学習します。ベンチマークは 3D IoU でキューボイド を採点し、KITTI は車に 70% の重なりを求めます。カメラ画像上に描く投影キューボイド は、描くコストが低い一方で、メートル単位の奥行きがありません。
ポリラインアノテーションとは何ですか?
ポリラインのアノテーションは、線状のオブジェクトを、長さを持ち囲まれた面積を持たない、開いた点の連鎖としてたどります。画像では、車線の区画線、道路の縁、ひび割れ、血管が代表的なポリラインのオブジェクトです。ポリラインに関するアノテーター間の一致度は、2 つの軌跡の点に対する境界 F1 を使います。IoU には、ポリラインにはない内部が必要だからです。
関連資料
- 画像アノテーションのリファレンス。
image_annotationのすべてのオプションを掲載 - 画像アノテーション機能のページ
- 幾何プリミティブ。ツールのキーとキーバインドのプロファイルを掲載
- 画像セグメンテーションマスクのアノテーション方法
- 3D 点群のアノテーション方法
- バウンディングボックスでアノテーター間一致度を測る方法
- 幾何に対する一致度
- 画像アノテーションツールの比較
- 機械学習向けのアノテーションのエクスポート
参考文献
- Braylan, A., Alonso, O., and Lease, M. (2022). Measuring Annotator Agreement Generally across Complex Structured, Multi-object, and Free-text Annotation Tasks. Proceedings of the ACM Web Conference 2022. https://doi.org/10.1145/3485447.3512242
- He, K., Gkioxari, G., Dollár, P., and Girshick, R. (2017). Mask R-CNN. 2017 IEEE International Conference on Computer Vision (ICCV). https://doi.org/10.1109/ICCV.2017.322
- Lin, T.-Y., Maire, M., Belongie, S., Bourdev, L., Girshick, R., Hays, J., Perona, P., Ramanan, D., Zitnick, C. L., and Dollár, P. (2014). Microsoft COCO: Common Objects in Context. Computer Vision – ECCV 2014. https://doi.org/10.1007/978-3-319-10602-1_48
- Papadopoulos, D. P., Uijlings, J. R. R., Keller, F., and Ferrari, V. (2017). Extreme Clicking for Efficient Object Annotation. 2017 IEEE International Conference on Computer Vision (ICCV). https://doi.org/10.1109/ICCV.2017.528
- Rezatofighi, H., Tsoi, N., Gwak, J., Sadeghian, A., Reid, I., and Savarese, S. (2019). Generalized Intersection over Union: A Metric and a Loss for Bounding Box Regression. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). https://doi.org/10.1109/CVPR.2019.00075
デザイン例
各デザインは、ダウンロードしてそのまま実行できる Potato の設定です。
- BBBC038 2018 Data Science Bowl Outlines of Every NucleusDraw one polygon per nucleus on ten real images from the CC0 2018 Data Science Bowl set, with Cellpose fine-tuning that writes outlines back as pre-labels.
- SpaceNet Building Footprint Outlines on Satellite ScenesOutline building footprints as closed polygons on satellite-style scenes with the geo_annotation scheme. The ten scenes are illustrative synthetic images.
- KITTI - 3D Object Annotation on Lidar Point CloudsAutonomous-driving benchmark from Geiger, Lenz and Urtasun (CVPR 2012). Annotators place oriented 3D cuboids on the lidar scan, with calibration projecting every box into the camera images for verification in 2D.
- nuScenes 3D Cuboid Annotation on Lidar Point CloudsDraw 3D cuboids on a lidar point cloud and label each with one of 23 classes plus attributes. The ten point clouds are synthetic and illustrative.