「部分的」は実在の結果：ロボットのエピソードをアノテーションする
ロボットの実演はその多くが部分的成功であり、二値の結果はそれを捨ててしまいます。タイムライン型のアノテーション画面が押さえるべきこと、極小・極大を保つ間引きから事後のラベル付け直しまで。
ロボットの実演とは、複数の同期したカメラストリームに加えて、関節位置、グリッパー状態、力トルク、報酬といった複数の数値時系列であり、そのすべてがフレームで索引付けされています。これについて問う価値のあることはすべて時間的です。把持はいつ始まったのか、いつ失敗したのか、各時点でどれだけ完了に近かったのか。
だからインターフェースはフォームではなくタイムラインでなければなりません。そこから何が必要になったかを以下に記します。
部分的が最頻の結果
最初の設計上の判断は結果の語彙でした。そして素直に思いつく答えは間違っています。
成功か失敗かは自然な二値で、そして信号を壊します。実際のロボットデータでは、部分的成功が最頻の結果です。アームは対象をテーブルから持ち上げて落とした。ブロックを正しい箱には入れたが仕切りを間違えた。タイムアウトの二秒後に課題を完了した。
これらを「失敗」に押し込めば、一度も動かなかったアームと見分けがつかなくなります。「成功」に押し込むのはもっと悪いことです。どちらの割り当てで訓練された方策も、実際に起きたことについて真でないものを学びます。
三つの結果に、失敗原因の分類体系——把持失敗、対象の滑落、衝突、対象違い、設置位置違い、タイムアウト——を添えれば、失敗は数えられるだけでなく分析できるようになります。
信号はタブの裏ではなく動画の隣に置く
これには公刊された裏付けがあります。ATLAS（ウィーン工科大学、2026）は、固有受容の時系列を動画と並べて表示すると、視覚のみのツールに対して境界の誤差が減ると報告しています。この知見が、Potato がそもそもこれらのレーンを描画している理由です。
実際のエピソードを見ればすぐに納得できます。把持の失敗は、カメラで明白になる数フレーム前にグリッパーと手首の力の波形に現れます。グリッパーが閉じ、力は上がらず、そのあとになってようやく動画に空の手が映るのです。
レーンがタブの裏にあれば、アノテーターは開きません。
平均ではなく極小・極大で間引く
30 Hz の 30 秒エピソードは 1 系列あたり 900 サンプルで、それを幅 300 ピクセルほどのレーンに描きます。何かを捨てるしかありません。
平均による間引きは、まさに捨ててはいけないものを捨てます。一フレームだけの力の尖りこそが当の事象であり、それを近傍と平均すれば完全に消えます。レーンは滑らかに見え、接触の瞬間は失われます。
極小・極大を保つ間引きは各バケットの両極端を残すので、一フレームの尖りがピクセルまで生き残ります。これは小さな実装上の細部ですが、そのレーンがそもそも役に立つかどうかを左右します。
層ごとにコストがまるで違う
アノテーションの層は三つあり、そのコストは比較になりません。
| 層 | エピソードあたりのコスト |
|---|---|
| フェーズ分割 | 秒 |
| 結果と原因 | 秒 |
| 密な進捗報酬 | 分 |
そこで各層は個別に設定でき、多くのプロジェクトは一部だけを有効にします。三つすべてを交渉不可の一枚のフォームとして出荷していたら、報酬曲線が原因で誰も研究を完了できなかったでしょう。
事後のラベル付け直しは失敗をデータに変える
記録された課題では失敗したエピソードが、別の課題の成功実演であることは頻繁にあります。アームは左の箱にブロックを置くつもりで右に置いた。それは記録された指示に対する失敗であり、別の指示に対するきれいな成功です。
そのエピソードが実際に示しているものを集めるのは、アノテーション時ならテキスト欄一つで済み、後からは取り戻せません。使うかどうか確信がなくても尋ねておいてください。
三つの問い、三つの一致度指標
三つの層は三つの異なる種類の答えなので、三つの指標が要ります。
- フェーズ境界 — 時間 IoU
- 結果ラベル — Krippendorff's α
- 報酬曲線 — ICC と Pearson
いずれもカバー率を併記して報告します。タイムラインの 5% で計算された相関は残り 95% について何も語らず、カバー率を伴わない係数は、あたかも全体を語っているかのように読まれます。
境界については特に許容幅が効いてきます。0.25 秒での一致度と 2 秒での一致度は別の主張なので、レポートは一つを選ぶのではなく許容幅をスイープします。
形式
LeRobot v2、RLDS/TFDS、HDF5（RoboMimic と ALOHA）、ROS bag はいずれも同じフィールドから取り込めます。書き出しは LeRobot v2 とフレームごとの JSONL サイドカーなので、読み取り専用の公開データセットでも、再公開せずにあなたのアノテーションを携えられます。
Potato が答えにならない場合
ATLAS は ROS bag を対象に単独アノテーターの境界精度に特化して作られており、その点では優れています。ELAN と BORIS は行動コーディングの標準であり続けています。Rerun と Foxglove はロボティクスの可視化ツールとして最良です。
Potato が加えるのは、複数アノテーターに対応し、ウェブに配備でき、結果に対する一致度統計を備えていることです。一人でアノテーションするなら ATLAS を使ってください。