ロボットエピソードのアノテーション
N 本の同期した動画ストリームと M 本の時系列レーンを一本のタイムラインに載せてロボットの実演をアノテーションします。フェーズ分割、結果、密な報酬、そして LeRobot、RLDS、HDF5 の取り込み。
ロボットの実演とは、フレームで索引付けされた複数の同期カメラストリームと複数の数値時系列であり、それについて問う価値のあることはすべて時間的です。 把持はいつ始まったのか、いつ失敗したのか、各時点でどれだけうまくいっていたのか。だからインターフェースはタイムラインです。上にストリーム、その下にアーム自身の信号をレーンとして、すべてのアノテーション層を同じ時間軸に載せます。
annotation_schemes:
- annotation_type: episode_annotation
name: episode_review
description: "Mark the phases, judge the outcome, and draw the progress."
source_field: episode
layers: [phases, outcome, reward]
phases:
- {name: reach, color: "#4ECDC4", key_value: "1"}
- {name: grasp, color: "#FFD93D", key_value: "2"}
- {name: transport, color: "#6C8AE4", key_value: "3"}
outcomes: [success, partial, failure]
failure_causes: [missed grasp, object slipped, collision]
reward_range: [0.0, 1.0]
series_shown: [gripper, wrist_force]動作する例:examples/embodied/lerobot-episode/。
層はそれぞれ別の問いに答える
| 層 | 問い |
|---|---|
phases | ロボットは何を、いつしていたのか |
outcome | うまくいったのか、いかなかったならなぜか |
reward | 各時点で完了にどれだけ近かったのか |
三つはアノテーターの時間の消費量がまったく違います。フェーズはエピソードあたり数秒、密な報酬曲線は数分です。多くのプロジェクトは三つすべてではなく一部だけを有効にします。
結果は二つではなく三つ
success、partial、failure。実際のロボットデータでは部分的成功が最頻の結果であり、これを二値に押し込めると、そもそもそのデータセットをアノテーションする価値の源である信号が壊れます。
指示のラベル付け直しも併せて収集されます。記録された課題では失敗したエピソードが、別の課題の成功実演であることはよくあり、それが実際に示しているものを記録すれば、破棄されるはずの録画が使えるものになります。
動画だけでなくレーンを見る
レーンの間引きは極小・極大を保つので、一フレームだけの力の尖りも、幅 300 ピクセルのレーンに描かれる際に平均で消されることなく生き残ります。
これは表示上の気配りにとどまりません。把持の失敗はたいてい、カメラで明白になる数フレーム前にグリッパーと手首の力の波形に現れます。だからこそレーンはタブの裏ではなく動画の隣にあります。
取り込みと書き出し
LeRobot v2 を pyarrow 経由で、HDF5(RoboMimic と ALOHA)を h5py 経由で、そして RLDS/TFDS を tensorflow_datasets 経由で取り込みます。Potato には ROS bag の読み込み機能がないため、bag は先にこれらの形式のいずれかへ変換する必要があります。書き出しは LeRobot v2 に加えてフレームごとの JSONL サイドカーなので、読み取り専用の公開データセットでも、あなたのアノテーションを携えるために書き換える必要はありません。
一致度
層が三種類の異なる答えであるため、測度も三つです。
- フェーズ境界 — 時間 IoU
- 結果ラベル — Krippendorff's α
- 報酬曲線 — ICC と Pearson
いずれもカバー率を併記して報告されます。タイムラインの 5% で計算された相関は、残り 95% について何も語らないからです。
学習したモデルでタイムラインを事前に埋める
v2.14.0の新機能
episode-model の実行は、episode_annotation の回答から、フェーズ、結果、報酬曲線を学習します。モデルは動画を読みません。モデルの入力は、関節の位置、グリッパーの状態、力のような、エピソードの記録された時系列です。そのため、カメラでしか区別できないフェーズは、モデルの手が届きません。結果だけがマークされたエピソードでも、結果は学習されます。回答が空のままにしたレイヤーは、そのエピソードの損失から除外されるためです。model_training.writeback.schemas がそのスキームを指定していれば、モデルの答えは、スキームが表示するレイヤーのタイムラインを事前に埋めます。答えは、アノテーターが編集すると保存されます。実行については科学分野のモデルで説明しています。
Potato の位置づけ
ATLAS(ウィーン工科大学)は、長時間の行動分割に特化したデスクトップツールで、ROS bag と RLDS をネイティブに扱い、単独アノテーターの境界精度のために作られています。固有受容の時系列を動画と並べて表示すると視覚のみのツールに対して境界の誤差が減るという同ツールの公刊された知見が、Potato がそのレーンを描画している理由です。Rerun と Foxglove はロボティクスの可視化ツールとして最良です。
Potato 固有の貢献は、複数アノテーターに対応し、ウェブに配備でき、一致度統計を備えたエピソードアノテーターであることです。
関連
デザイン例
各デザインは、ダウンロードしてそのまま実行できる Potato の設定です。
- RoboMIND Robot Episode Failure ReviewMark phases, judge success or failure, and name the cause from nine failure categories on robot episodes. The episodes are synthetic and illustrative.
- LeRobot - Robot Episode AnnotationAnnotate teleoperated robot demonstrations: synchronized camera streams and per-frame arm signals on one timeline, with phase segmentation, outcome and failure cause, and a dense progress-reward curve.