動画アノテーションツールの比較:CVAT、Label Studio、ELAN、BORIS、Potato
CVAT、Label Studio、ELAN、BORIS、VIA、V7、Potato を、物体トラッキング・時間区間・行動コーディングと、アノテーター間の一致度の測り方という観点で比較します。
動画アノテーションの仕事は、たいてい二つのどちらかです。物体トラッキングは何かの周りに図形を描いてフレームをまたいで追いかけるもので、そのためのオープンソースの定番は CVAT です。時間アノテーションは何かが起きたタイミングを示すもので、言語学と行動研究では ELAN と BORIS が標準です。Potato は複数のアノテーターによる研究のために、その両方をブラウザで行います。アノテーターの募集と訓練も行い、イベントとトラックについてどれだけ一致しているかを報告します。
物体トラッキングは、動画の中の物体を追いかけます。通常はキーフレームで物体を描き、その間のフレームを補間します。時間区間は、開始時刻、終了時刻、ラベル(動作や話者のターンなど)の組です。マスク伝播は、モデルを使ってセグメンテーションマスクを次のフレームへ引き継ぎます。
このページは動画を扱います。すべてのデータの種類を 1 ページで比べたものは AI アノテーションツールの比較にあります。
比較する価値のある動画アノテーションツールは?
| ツール | 動作形態 | ライセンスと費用 | 向いている用途 |
|---|---|---|---|
| Potato | セルフホストの Web アプリ | GPL-3.0、無料 | 複数アノテーターによる研究:トラッキング、時間区間、区間ごとの質問、一致度 |
| CVAT | セルフホストまたはホスティング | MIT。ホスティング版は 1 ユーザー月額 33 ドル | 大量のボックス、ポリゴン、点のトラッキング |
| Label Studio | セルフホストまたはホスティング | Apache-2.0 Community Edition、有料プランあり | VideoRectangle による物体トラッキング、TimelineLabels によるフレーム範囲のラベル |
| ELAN | デスクトップアプリ | GPL-3.0 | 最大 4 本のリンクした動画に対する、時間に沿ったティア |
| BORIS | Linux、Windows、macOS、Android 用のデスクトップアプリ | GPL-3.0 | 動画、音声、実地観察からの行動イベントの記録 |
| Prodigy | ローカルで動かす Web アプリ | プロプライエタリ | 音声用インターフェースを使った、動画上のタイムスタンプ付き領域 |
| VIA 3 | 単一の HTML ファイル、ブラウザでオフライン動作 | BSD-2-Clause | 何もインストールしない小規模な動画プロジェクト |
| V7、Supervisely | ホスティング(Supervisely はセルフホストも可) | 商用 | モデルによるマスク伝播と管理されたワークフローを伴うトラッキング |
アノテーション調査の比較
| Potato | CVAT | Label Studio | ELAN | BORIS | |
|---|---|---|---|---|---|
| 複数のアノテーターがブラウザで同じ動画にラベルを付ける | はい | はい | はい | いいえ、デスクトップ | いいえ、デスクトップ |
| イベントのタイミングの一致度 | 時間 IoU と検出 F1、照合しきい値は一つ、偶然補正なし | — | 有料プラン | 修正版 κ と Staccato、ティアのペア間 | 二つの観察間の Cohen の κ、時間枠の中で |
| トラックとマスクの一致度 | 偶然のベースラインを使う幾何的一致度、マスクのコンセンサスと STAPLE | クラスごとのしきい値に対する IoU によるコンセンサス | IoU、Enterprise | — | — |
| 既知の正解でアノテーターを試す | 合格ラインのある訓練フェーズ、ゴールド項目、注意力チェック | Ground truth ジョブとハニーポット、品質レポートは CVAT Online と Enterprise | Ground truth、Enterprise のみ | — | — |
| Prolific または SONA での募集 | 組み込み | — | — | — | — |
ダッシュは、2026 年 9 月の時点で、そのツールのドキュメントに該当する記述が見つからなかったことを表します。誤りがあればお知らせください。
動画で Potato が先を行く点
両方の種類の動画アノテーションで一致度を測る。 ELAN と BORIS はイベントの一致度を、CVAT は図形の一致度を測ります。Potato はその両方を扱います。イベントは一つの照合しきい値で重なりと検出によって、トラックとマスクは偶然のベースラインに対して比較するので、物体を追跡し行動を記録する研究では、それぞれについて一致度を報告できます。
研究室に来たことのないコーダー。 Potato は Prolific や SONA でコーダーを募集し、フィードバック付きの練習クリップで訓練し、作業中はゴールドクリップで確認します。バージョン 2.9 からは、各区間にそれぞれの評価や自由記述の質問を付けられるので、コーダーはなぜその位置にイベントを付けたのかを説明できます。
フレームをまたいで物体を追う
CVAT のトラックモードは、異なるフレームの図形を一つの物体として結びつけます。アノテーターがいくつかのキーフレームで図形を調整すると、CVAT がその間のフレームを線形補間します。対象は矩形、ポリゴン、点です。Label Studio の VideoRectangle タグは、ボックスによる物体トラッキングを動画にもたらします。V7、Supervisely、Segments.ai は補間によるトラッキングに加え、モデルでマスクを伝播します。
Potato の video_annotation スキームには、キーフレーム間でボックスとポリゴンを補間するトラッキングモードがあります。SAM 2 によるマスク伝播はサーバー側で実行されます。ブラウザには、マスクを先へ引き継ぐ軽量な処理があります。動画の物体トラッキングのアノテーション方法を参照してください。
何かが起きた時点を記録する
Label Studio の TimelineLabels タグは、クリックで 1 フレームに、ドラッグでフレーム範囲にラベルを付けます。ELAN は、スキームが必要とするだけのティアでタイムラインにアノテーションを付けられ、統制語彙と最大 4 本の同期動画に対応しています。BORIS は、動画、音声、実地観察から行動イベントを記録し、コーディングします。Prodigy は動画のタイムスタンプに沿って領域を記録し、VIA 3 は画像や音声に加えて動画もアノテーションできます。
Potato では、時間区間をタイムライン上でラベル付けします。バージョン 2.9 からは segment_schemes によって任意のアノテーションタイプを区間の中に置けるので、区間ごとに評価や自由記述の質問を付けられます。動画アノテーションを参照してください。
動画アノテーションの一致度
イベントの開始時点に印を付ける 2 人のアノテーターが、同じフレームを選ぶことはありません。そのため時間の一致度は、二つの印がどれだけ離れていても同じ印とみなすかによって変わります。
- ELAN にはアノテーター間信頼性の計算機能が組み込まれています。決められた割合以上重なるアノテーションを対応づける修正版 Cohen の κ と、分割結果をランダムに生成した分割と比べて偶然を考慮する Staccato アルゴリズムです。
- BORIS は二つの観察の間で Cohen の κ を計算し、既定では 10 秒の時間枠の中でイベントを対応付けます。
- Potato は、アノテーターのすべてのペアを、時間 IoU、検出 F1、そしてラベルが異なる対応区間に半分の得点を与える総合一致スコアで比べます。いずれも一つの照合しきい値で計算します。どの指標にもまだ偶然のベースラインがなく、ドキュメントにもそう書かれています。時間軸上の一致度を参照してください。
- CVAT のコンセンサスエンジンは、クラスごとのしきい値に対して生の IoU でアノテーターを比較します。
トラックとマスクについては、Potato はマスクをマスクのコンセンサスと STAPLE でフレームごとに比較し、ボックスはバウンディングボックスのアノテーター間一致度の測り方で説明している形状の一致度で比較します。
形式
Potato は、トラックを MOT、動画物体セグメンテーションのマスクを DAVIS、時間に沿ったアノテーションを ELAN で開ける EAF で書き出します。コンピュータビジョンの形式を参照してください。
Potato でのトラッキングタスク
annotation_schemes:
- annotation_type: video_annotation
name: tracks
description: "Draw the object once, then press Track forward."
source_field: video_url
mode: tracking
labels:
- {name: subject, color: "#d1495b"}
tracking_options:
interpolation: linear
auto_advance_frames: 5
video_fps: 12
frame_stepping: trueframe_stepping でアノテーターは 1 フレームずつ進めるようになり、auto_advance_frames は Track forward で進む幅を決めます。
動画で Potato ができないこと
- 物体ごとの属性にはまだ対応していません。 トラックにはラベルが一つ付くだけです。隠れや切れのフラグには別のスキームを組み合わせる必要があります。
- ブラウザ内でのマスク伝播はしません。 SAM 2 による伝播はサーバー側で実行されます。
- アノテーターの提供はありません。 自分で集めるか、Prolific で募集してください。
2026 年 8 月と 9 月に、各プロジェクトのドキュメントで確認しました。
よくある質問
無料の動画アノテーションツールで一番良いものは?
大量の物体トラッキングなら、CVAT が無料で成熟しており、セルフホストできます。時間に沿った行動や発話のコーディングなら、ELAN と BORIS が無料のデスクトップツールです。複数のアノテーターがブラウザで同じ動画にラベルを付け、一致度を報告する研究なら、Potato は無料でそれを備えています。
キーフレーム間を補間できる動画アノテーションツールは?
CVAT のトラックモードは、キーフレーム間で矩形、ポリゴン、点を線形補間します。Potato のトラッキングモードはボックスとポリゴンを補間します。V7 と Supervisely は補間に加えてモデルでマスクも伝播します。Label Studio の VideoRectangle はボックスをトラッキングします。
動画の行動コーディングには何を使えばよいですか?
BORIS と ELAN は定評のある無料ツールで、どちらも評定者間信頼性を計算します。ELAN はティアのペア間で、BORIS は二つの観察間の Cohen の κ として計算します。複数のコーダーがブラウザで適用するコーディングスキームで、コーダーをオンラインで募集・訓練するなら、Potato の時間区間が使えます。区間についての一致度レポートは、一つの照合しきい値での重なりと検出を示し、偶然補正は行いません。
評定者間信頼性を計算できる動画アノテーションツールは?
ELAN はティアのペア間で修正版の Cohen の κ と Staccato アルゴリズムを提供します。BORIS は時間枠の中で二つの観察間の Cohen の κ を計算します。Potato は区間について時間 IoU と検出 F1 を偶然補正なしで報告し、トラックとマスクの一致度を偶然のベースラインに対して報告します。CVAT はアノテーターの図形をしきい値に対する IoU で比較し、Label Studio は一致度を有料プランに限っています。
動画アノテーションの一致度はどう測りますか?
イベントについては、各アノテーターの区間を許容幅の範囲で対応づけ、重なり、境界の一致、ラベルの一致を報告します。0.25 秒での一致と 2 秒での一致は別の主張なので、できれば複数の許容幅で示してください。トラックについては、ボックスやマスクの IoU でフレームごとに図形を比べます。
Potato の動画マスク伝播はどこで実行されますか?
サーバー側で、SAM 2 を使って実行されます。ブラウザには、モデルを使わずにマスクを次のフレームへコピーする軽量な処理があります。