Skip to content

影片標註

如何在 Potato 中標註影片：逐幀導航、時間區間標註、逐幀分類，以及跨幀的目標跟蹤。

影片標註在影像工作的基礎上加入了時間軸。同一段影片可以作為整體打標籤，可以切分成時間區間（"進球發生在 0:12 到 0:15"），也可以逐幀標註。 Potato 提供幀導航和時間控制，讓標註者能夠精確地在片段中移動。

影片任務是行為識別和目標跟蹤的核心。

片段級分類

最簡單的任務：給整段影片一個標籤。

yaml
annotation_schemes:
  - annotation_type: radio
    name: action
    description: "What is the main action in this clip?"
    labels: [Walking, Running, Sitting, Jumping, Other]

時間區間，標記某事何時發生

要在時間線上標記區間，可以在影片的時間軸上使用跨度（span），這與聲音事件檢測對音訊的處理方式相同。

yaml
annotation_schemes:
  - annotation_type: span
    name: events
    description: "Mark the start and end of each event and label it."
    labels: [Goal, Foul, Substitution, Replay]

逐幀標註與跟蹤

對於幀級別的工作，無論是對單個幀分類，還是跨幀跟蹤某個目標，標註者都要逐幀瀏覽影片並在每一幀上標註。需要確定一個取樣率（每一幀、每隔 N 幀，還是隻取關鍵幀）；逐幀標註成本很高，因此大多數項目會進行下采樣。

保持影片標註的一致性

  • 邊界精度。 約定區間起止點必須精確到什麼程度；幀級精度代價高昂。
  • 遮擋與離場。 為被跟蹤目標被遮擋或離開畫面的情形制定規則。
  • 工作量。 影片是最耗時的模態，先做小規模試標來估算成本再擴大規模，並考慮用 LLM/視覺預標註 來生成初始標籤。

延伸閱讀