Skip to content

ロボットエピソードのアノテーション

N 本の同期した動画ストリームと M 本の時系列レーンを一本のタイムラインに載せてロボットの実演をアノテーションします。フェーズ分割、結果、密な報酬、そして LeRobot、RLDS、HDF5 の取り込み。

ロボットの実演とは、フレームで索引付けされた複数の同期カメラストリームと複数の数値時系列であり、それについて問う価値のあることはすべて時間的です。 把持はいつ始まったのか、いつ失敗したのか、各時点でどれだけうまくいっていたのか。だからインターフェースはタイムラインです。上にストリーム、その下にアーム自身の信号をレーンとして、すべてのアノテーション層を同じ時間軸に載せます。

yaml
annotation_schemes:
  - annotation_type: episode_annotation
    name: episode_review
    description: "Mark the phases, judge the outcome, and draw the progress."
    source_field: episode
    layers: [phases, outcome, reward]
    phases:
      - {name: reach,     color: "#4ECDC4", key_value: "1"}
      - {name: grasp,     color: "#FFD93D", key_value: "2"}
      - {name: transport, color: "#6C8AE4", key_value: "3"}
    outcomes: [success, partial, failure]
    failure_causes: [missed grasp, object slipped, collision]
    reward_range: [0.0, 1.0]
    series_shown: [gripper, wrist_force]

動作する例：examples/embodied/lerobot-episode/。

層はそれぞれ別の問いに答える

層問い
phasesロボットは何を、いつしていたのか
outcomeうまくいったのか、いかなかったならなぜか
reward各時点で完了にどれだけ近かったのか

三つはアノテーターの時間の消費量がまったく違います。フェーズはエピソードあたり数秒、密な報酬曲線は数分です。多くのプロジェクトは三つすべてではなく一部だけを有効にします。

結果は二つではなく三つ

success、partial、failure。実際のロボットデータでは部分的成功が最頻の結果であり、これを二値に押し込めると、そもそもそのデータセットをアノテーションする価値の源である信号が壊れます。

指示のラベル付け直しも併せて収集されます。記録された課題では失敗したエピソードが、別の課題の成功実演であることはよくあり、それが実際に示しているものを記録すれば、破棄されるはずの録画が使えるものになります。

動画だけでなくレーンを見る

レーンの間引きは極小・極大を保つので、一フレームだけの力の尖りも、幅 300 ピクセルのレーンに描かれる際に平均で消されることなく生き残ります。

これは表示上の気配りにとどまりません。把持の失敗はたいてい、カメラで明白になる数フレーム前にグリッパーと手首の力の波形に現れます。だからこそレーンはタブの裏ではなく動画の隣にあります。

取り込みと書き出し

LeRobot v2 を pyarrow 経由で、HDF5（RoboMimic と ALOHA）を h5py 経由で、RLDS/TFDS を tensorflow_datasets 経由で、そして ROS bag を取り込みます。書き出しは LeRobot v2 に加えてフレームごとの JSONL サイドカーなので、読み取り専用の公開データセットでも、あなたのアノテーションを携えるために書き換える必要はありません。

一致度

層が三種類の異なる答えであるため、測度も三つです。

  • フェーズ境界 — 時間 IoU
  • 結果ラベル — Krippendorff's α
  • 報酬曲線 — ICC と Pearson

いずれもカバー率を併記して報告されます。タイムラインの 5% で計算された相関は、残り 95% について何も語らないからです。

Potato の位置づけ

ATLAS（ウィーン工科大学）は、長時間の行動分割に特化したデスクトップツールで、ROS bag と RLDS をネイティブに扱い、単独アノテーターの境界精度のために作られています。固有受容の時系列を動画と並べて表示すると視覚のみのツールに対して境界の誤差が減るという同ツールの公刊された知見が、Potato がそのレーンを描画している理由です。Rerun と Foxglove はロボティクスの可視化ツールとして最良です。

Potato 固有の貢献は、複数アノテーターに対応し、ウェブに配備でき、一致度統計を備えたエピソードアノテーターであることです。

関連