跳轉到內容

邊界框、多邊形、關鍵點和長方體標註

選出視覺模型所需的標註形狀,比較每種形狀標註一個物件的成本,並在 Potato 中衡量標註者在每種形狀上的一致性。

標註形狀由模型的預測內容決定。目標檢測器用邊界框訓練,實例分割模型用多邊形或掩碼訓練,姿態模型用關鍵點集訓練,3D 檢測器則用在點雲中繪製的長方體訓練。當標註指南或模型仍在變動時,先用邊界框,因為邊界框是繪製和檢查成本最低的區域形狀。

標註形狀是標註者為標出物件在影像或掃描資料中的位置而繪製的幾何圖形。邊界框是與座標軸對齊、恰好包住物件的矩形,以四個數字儲存。多邊形是沿物件輪廓依次連線頂點的閉合折線,折線(polyline)則是開放的折線鏈,有長度而沒有面積。關鍵點集是由骨架邊連線的、帶名稱的有序點列表,用於訓練姿態估計模型。長方體是三維中的框。標註者既可以把長方體繪製為相機影像上的投影,也可以繪製為點雲中帶朝向的框。

Potato 是一款免費、開源的標註工具,執行在你自己的伺服器上,本指南以 Potato 的工具作為實例。下文的每種 2D 形狀都是 Potato image_annotation 方案中的一個工具,3D 長方體則屬於 spatial_annotation 方案。如何標註影像分割掩碼深入講解掩碼,如何標註 3D 點雲講解雷射雷達工作,影像標註工具對比將 Potato 與其他工具做了比較。

每類模型需要的形狀

模型只會學到標籤所編碼的內容。下表把每類模型輸出與應繪製的形狀、對應的 Potato 工具,以及 Potato 判斷兩名標註者是否畫了同一個物件所用的相似度配對:

模型預測的內容繪製Potato 工具兩名標註者的形狀如何比較
每個物件的類別和矩形(目標檢測)邊界框bbox框 IoU
每個物件的類別和輪廓(實例分割,例如 Mask R-CNN)多邊形;有孔洞或細長部分時用掩碼polygon,或帶 mask_mode: instance 的 brush多邊形 IoU 或掩碼 IoU
每個畫素的類別(語義分割)掩碼brush、fill、sam掩碼 IoU
圓形物件,如細胞和細胞核橢圓ellipse36 頂點多邊形的 IoU
線狀物件,例如車道線和裂縫折線polyline距離容差內的邊界 F1
姿態所需的關節位置帶骨架的關鍵點集keypoint_set物件關鍵點相似度(OKS)
每個物件一個位置,用於計數地標landmark距離,相距影像的 5% 時得分為 0
由單張相機影像得到的 3D 框投影長方體cuboid_2d前表面的 IoU
雷射雷達或深度資料中的 3D 框3D 長方體spatial_annotation 中的 cuboid_3d精確的旋轉 3D IoU

比模型所需更豐富的形狀會耗費標註者的時間,卻不會在訓練時帶來任何好處。比模型所需更簡單的形狀則事後無法補救。邊界框沒有輪廓,而任何輪廓的外接框都可以在匯出時計算出來,Potato 的 COCO 匯出會為每個多邊形和掩碼寫出一個 bbox。

每個物件的繪製成本

每個物件的標註成本隨標註者放置並檢查的點數增加而上升。邊界框和多邊形都有已發表的計時資料,均來自大型眾包資料集,使用的是各項目自己的介面:

  • 邊界框。 如 Papadopoulos 等人(2017)所報告,為 ILSVRC 資料集繪製一個高品質邊界框需要 35 秒。同一篇論文報告,使用極值點選法每個框只需 7 秒。極值點選法要求標註者點選物件最上、最下、最左和最右的點。Potato 的 bbox 工具使用常規的拖拽矩形方式。
  • 多邊形。 為 COCO 勾勒物件實例,每 1,000 個分割耗費 22 個以上的工人小時,約合每個物件 79 秒(Lin 等人,2014)。
  • 關鍵點和長方體。 Potato 團隊沒有找到可對照來源核實的關鍵點集或 3D 長方體的已發表單個物件用時。請在試點中測量你自己的資料。

這兩個計時來自不同的資料集和介面。請把這兩個數字當作數量級,而不是適用於你的資料的比值。請在你自己的影像上對每種候選形狀做一次簡短試點並計時。Potato 的繪製遙測會記錄每個已提交形狀的時間戳和頂點數,標註成本計算器可把每個物件的用時換算為預算。

每種形狀的一致性度量

形狀上的一致性從配對開始。Potato 在同一張影像上把一名標註者的物件與另一名標註者的物件配對,並且讓兩組物件之間儘可能多的配對達到閾值以上。當形狀相似度達到 0.5 時,兩個形狀算作同一個物件。Potato 的 0.5 閾值取自 COCO 檢測的慣例。邊界框按 IoU 比較,多邊形和橢圓按面積的 IoU 比較,投影長方體按前表面的 IoU 比較。折線沒有內部區域可供 IoU 度量,Potato 用邊界 F1 給折線打分。邊界 F1 是調和平均數,取每條軌跡上靠近另一條軌跡的點所佔比例。

關鍵點集按物件關鍵點相似度(OKS)比較。OKS 由 COCO 為關鍵點評估定義,它按物件大小和每個關節的容差來縮放各關節的距離。COCO 把眼睛的常數設為 0.025,把髖部設為 0.107,因為標註者放置眼睛比放置髖部更一致。如果任一標註者沒有標註某個關節,Potato 就跳過該關節,因為關節缺失和關節錯位是兩種不同的分歧。

/admin/iaa 處的報告隨後把分歧拆分為三個問題:

  • 檢測。 標註者找到的是同一批物件嗎?Potato 報告關於有無的名義 Krippendorff's α。
  • 分類。 配對的物件得到相同的標籤了嗎?Potato 報告配對物件標籤上的名義 Krippendorff's α。
  • 定位。 配對的物件位置相同嗎?σ 把同一張影像上配對物件之間的平均距離,與不同影像上物件之間的平均距離做比較,並用 Kolmogorov–Smirnov 統計量比較這兩個分佈。

σ 為 1 表示完全一致,為 0 表示標註者之間的一致程度不高於標註互不相關影像的標註者。在由大而居中的物件組成的語料上,無論誰來畫框,原始的平均 IoU 讀數都偏高,σ 則校正了任務本身的簡單性。在 Braylan 等人(2022)的基準中,用 IoU 距離計算的 Krippendorff's α 對標註者品質的排序,比用普通 L2 距離計算的 α 更差。Potato 因此報告 σ,而不是基於 IoU 距離的 α。我們沒有發現其他標註平臺報告空間標籤上經過機會校正的一致性。如何衡量邊界框上的標註者間一致性解釋了這一方法,幾何一致性記錄了該報告。

σ 內部預設的距離,是在每個配對物件的外接框上計算的 GIoU。因此對於多邊形、折線和關鍵點集,定位 σ 衡量的是外接框的位置。形狀自身的相似度通過配對和檢測得分發揮作用。

3D 長方體有單獨的報告。Potato 可以對任意旋轉精確計算兩個長方體的體積 IoU,3D IoU 達到 0.25 時兩個長方體算作同一個物件。未配對的長方體按完全分歧計,配對但標籤不同的長方體得一半分數,報告給出各對標註者的平均值。3D 報告沒有機會基線。對於序列,Potato 用關鍵幀之間插值得到的框對每一幀打分,並給出每對標註者軌跡之間的 MOTA、IDF1 和身份切換次數。作為參照,KITTI 3D 目標基準要求汽車的 3D 重疊率達到 70%,行人和騎行者達到 50%。

先用邊界框,再逐步細化

當類別列表或標註指南仍在變動時,邊界框是合適的第一種形狀。指南變化後,框很快就能重畫,而且框的一致性能儘早顯示標註者究竟是否找到了相同的物件。檢測 Krippendorff's α 偏低,說明物件的定義不清楚。更精細的形狀無法解決定義不清的問題。

從邊界框通向更精細形狀的路線有三條:

  • 從框到掩碼。 使用 sam 工具時,拖出一個框會向分割模型請求框內的掩碼。該模型在執行 potato download-models onnxruntime 和 potato download-models mobile_sam 之後,在標註者的瀏覽器中執行。
  • 為檢測器準備輪廓。 Roboflow 2023 年 7 月 19 日的文章報告了在一個 408 張影像的消防栓資料集上,用兩種方式標註後從頭訓練 YOLOv8 的結果。多邊形標籤得到了更高的 mAP50。Potato 團隊於 2026 年 11 月 17 日閱讀了這篇文章。Roboflow 的結果只涉及一個數據集和一個模型。在為輪廓付費之前,請在你自己的資料上檢驗收益。
  • 每個類別一種形狀。 一個 image_annotation 方案可以啟用多個工具。項目可以對大多數類別用框,只為模型需要邊界的類別繪製輪廓。

Potato 從不匹配不同類型的形狀。因此,一名標註者用框、另一名標註者用輪廓標註的類別,會被記為完全分歧。請把每個類別對應的形狀寫入標註指南。

Potato 中的每種形狀

下面第一份配置是完整的。之後的每個程式碼塊都替換第一份配置中的 annotation_schemes 列表。

邊界框

Potato 以 {x, y, width, height} 儲存邊界框,座標按影像歸一化。框與座標軸對齊。旋轉的物件(例如從上方看到的船)由四頂點多邊形記錄角度。資料檔案的每一行包含一個 id 和一個 image_url:

yaml
annotation_task_name: "Street scene detection"
task_dir: "."
data_files:
  - "data/images.jsonl"
item_properties:
  id_key: id
  text_key: image_url
output_annotation_dir: "annotation_output/"
 
annotation_schemes:
  - annotation_type: image_annotation
    name: objects
    description: "Draw a tight box around every car, person, and bicycle."
    tools: [bbox]
    min_annotations: 1
    labels:
      - {name: car, color: "#FF6B6B", key_value: "1"}
      - {name: person, color: "#4ECDC4", key_value: "2"}
      - {name: bicycle, color: "#45B7D1", key_value: "3"}
 
agreement_metrics:
  enabled: true
num_annotators_per_item: 2

num_annotators_per_item: 2 會把每張影像分給兩名標註者。計算一致性要求每張影像至少有兩份標註。min_annotations: 1 拒絕空提交,適用於每張影像至少含一個物件的語料。用匯出命令列為檢測器匯出:

bash
python -m potato.export --config config.yaml --format coco --output ./export/
python -m potato.export --config config.yaml --format yolo --output ./export/

第一條命令寫出一個 COCO annotations.json,第二條命令為每張影像寫出一個 YOLO 標籤檔案,並附帶 data.yaml 和 classes.txt。若要通過輸入物件名稱來繪製邊界框,請參閱如何通過輸入名稱來標註物件。

多邊形和橢圓

標註者每點選一次放置一個頂點,雙擊閉合多邊形。多邊形至少需要三個頂點。當模型使用邊界、且物件是實心時,請使用多邊形。橢圓只需一次拖拽就能貼合圓形物件,Potato 把橢圓儲存為中心、兩個半徑和一個角度。匯出時每個橢圓都寫成一個 36 頂點的多邊形,所有能讀取多邊形的格式也都能讀取這些橢圓。

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: nuclei
    description: "Outline every nucleus. Use the ellipse for round nuclei and the polygon for irregular ones."
    tools: [polygon, ellipse]
    labels:
      - {name: nucleus, color: "#E6194B", key_value: "1"}

BBBC038 細胞核輪廓設計和 SpaceNet 建築物輪廓設計是完整的多邊形任務。

折線

折線是由兩個或更多點構成的開放路徑,標註者雙擊結束一條折線。車道線、裂縫、血管、電纜和海岸線都是折線物件,因為車道線或裂縫有長度而沒有內部區域。把折線閉合成多邊形,會聲稱一塊標註者從未繪製過的面積。COCO 沒有開放路徑類型,Potato 的 COCO 匯出會把每條折線寫成空的 segmentation、area: 0,並把各點放在非標準的 polyline 鍵下。

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: lanes
    description: "Trace each lane marking from the bottom of the image to where the marking ends."
    tools: [polyline]
    labels:
      - {name: solid_line, color: "#F1C40F", key_value: "1"}
      - {name: dashed_line, color: "#3498DB", key_value: "2"}

關鍵點集和骨架

一個關鍵點集是包含有序點列表的一條標註。skeletons 塊為每個點命名,並按索引列出點之間的邊,點的順序決定每個點的含義。標註者按宣告的順序放置各點,放完最後一個名稱後該集即告完成。如果其餘關節在畫面之外,雙擊可提前結束一個集。

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: pose
    description: "Place each joint of every visible person in the skeleton's order."
    tools: [keypoint_set]
    labels: [person]
    skeletons:
      coco_person:
        names: [nose, left_eye, right_eye, left_ear, right_ear,
                left_shoulder, right_shoulder, left_elbow, right_elbow,
                left_wrist, right_wrist, left_hip, right_hip,
                left_knee, right_knee, left_ankle, right_ankle]
        edges: [[0,1],[0,2],[1,3],[2,4],[5,6],[5,7],[7,9],[6,8],[8,10],
                [5,11],[6,12],[11,12],[11,13],[13,15],[12,14],[14,16]]

Potato 的 COCO 匯出會把每個集寫成帶可見性標誌的 COCO keypoints 陣列。一致性使用 OKS 和 COCO 的各關節常數。COCO 為上面這種 17 點人體骨架設定了這些常數,自定義骨架的關節採用 COCO 中相同索引關節的常數。若用每個關節一個標籤的 landmark 點來代替,分組關係會丟失,一張影像裡的兩個人會變成一堆點。

分割掩碼

掩碼標註的是畫素,適用於有孔洞或細長部分的物件。Potato 的 brush、eraser、fill 和 sam 工具用於繪製掩碼。mask_mode: semantic 會把同一類別的所有筆畫合併為一個區域,mask_mode: instance 則讓每個物件保持獨立。

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: instances
    description: "Paint each animal as its own object."
    tools: [brush, eraser, fill]
    mask_mode: instance
    labels: [cat, dog]

如何標註影像分割掩碼講解邊界規則和點選分割,使用 STAPLE 的掩碼共識講解如何合併多名標註者的掩碼。

投影長方體

cuboid_2d 工具以 KITTI 風格在單張相機影像上繪製 3D 框。標註者先拖出可見的前表面,再單擊一次設定深度偏移。Potato 把前表面按深度偏移平移得到後表面,並把兩個面都儲存為四邊形。因此所繪製的框沒有透視縮放,也沒有以米為單位的深度。當只有影像、而模型只需要物件的可見範圍和大致朝向時,請使用 cuboid_2d。要預測以米為單位位置的 3D 檢測器,則需要點雲中的長方體。

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: vehicles
    description: "Drag the face of each vehicle nearest the camera, then click to set the depth."
    tools: [cuboid_2d]
    labels:
      - {name: car, color: "#FF6B6B", key_value: "1"}
      - {name: truck, color: "#4ECDC4", key_value: "2"}

點雲中的 3D 長方體

帶 cuboid_3d 工具的 spatial_annotation 方案會在雷射雷達或深度點雲中繪製帶朝向的框。每個框儲存中心、以米為單位的尺寸和旋轉,全部處於感測器座標系中。啟用 cuboid_3d 後,檢視器會增加三個正交切片檢視,新框的高度會貼合其底面範圍內的點。calibration_field 中指定的標定檔案會啟用相機面板,把每個框投影到影像中做 2D 檢查。每個條目在 point_cloud 欄位中給出點雲,在 calibration 欄位中給出標定:

yaml
annotation_schemes:
  - annotation_type: spatial_annotation
    name: objects
    description: "Put an oriented 3D box around every vehicle and pedestrian."
    source_field: point_cloud
    calibration_field: calibration
    tools: [cuboid_3d]
    labels:
      - {name: car, color: "#FF6B6B", key_value: "1"}
      - {name: pedestrian, color: "#FFD93D", key_value: "2"}

python -m potato.export --config config.yaml --format kitti_3d --output ./export/ 會為這些長方體寫出 KITTI 標籤檔案。KITTI 設計和 nuScenes 3D 長方體設計都是完整的任務,3D 點雲與長方體列出了所有選項。

常見問題

邊界框和多邊形標註有什麼區別?

邊界框用一個與座標軸對齊的矩形記錄物件的位置和範圍,多邊形則用閉合的頂點鏈記錄物件的輪廓。邊界框用於訓練目標檢測器,多邊形用於訓練實例分割模型,同時也能得到外接框。已發表的眾包計時顯示,每個物件的邊界框需 35 秒,COCO 多邊形約需 79 秒,兩個數字背後的介面並不相同。Potato 按框 IoU 比較兩名標註者的邊界框,按面積的 IoU 比較兩個多邊形。

什麼是 3D 長方體標註?

3D 長方體標註是在雷射雷達點雲或其他三維資料中,為每個物件繪製一個帶朝向的框。這項任務也稱為 3D 邊界框標註。每個長方體記錄物件的中心、以米為單位的尺寸和物件的旋轉,3D 目標檢測器用這些長方體訓練。基準用 3D IoU 為長方體打分,KITTI 要求汽車達到 70% 的重疊。在相機影像上繪製的投影長方體繪製成本更低,但沒有以米為單位的深度。

什麼是折線標註?

折線標註把線狀物件描繪為開放的點鏈,它有長度而沒有封閉面積。車道線、道路邊緣、裂縫和血管是影像中常見的折線物件。標註者在折線上的一致性使用兩條軌跡各點上的邊界 F1,因為 IoU 需要折線所沒有的內部區域。

延伸閱讀

參考文獻

  • Braylan, A., Alonso, O., and Lease, M. (2022). Measuring Annotator Agreement Generally across Complex Structured, Multi-object, and Free-text Annotation Tasks. Proceedings of the ACM Web Conference 2022. https://doi.org/10.1145/3485447.3512242
  • He, K., Gkioxari, G., Dollár, P., and Girshick, R. (2017). Mask R-CNN. 2017 IEEE International Conference on Computer Vision (ICCV). https://doi.org/10.1109/ICCV.2017.322
  • Lin, T.-Y., Maire, M., Belongie, S., Bourdev, L., Girshick, R., Hays, J., Perona, P., Ramanan, D., Zitnick, C. L., and Dollár, P. (2014). Microsoft COCO: Common Objects in Context. Computer Vision – ECCV 2014. https://doi.org/10.1007/978-3-319-10602-1_48
  • Papadopoulos, D. P., Uijlings, J. R. R., Keller, F., and Ferrari, V. (2017). Extreme Clicking for Efficient Object Annotation. 2017 IEEE International Conference on Computer Vision (ICCV). https://doi.org/10.1109/ICCV.2017.528
  • Rezatofighi, H., Tsoi, N., Gwak, J., Sadeghian, A., Reid, I., and Savarese, S. (2019). Generalized Intersection over Union: A Metric and a Loss for Bounding Box Regression. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). https://doi.org/10.1109/CVPR.2019.00075

示例設計

每個設計都是可以下載並直接執行的 Potato 配置。