로봇 에피소드 주석

Name: Potato
Author: Potato

N개의 동기화된 영상 스트림과 M개의 시계열 레인을 하나의 타임라인에 올려 로봇 시연에 주석을 답니다. 단계 분할, 결과, 조밀한 보상, 그리고 LeRobot, RLDS, HDF5 가져오기.

로봇 시연은 프레임으로 색인된 여러 동기화 카메라 스트림과 여러 수치 시계열이며, 그에 대해 물을 만한 모든 질문은 시간에 관한 것입니다. 파지는 언제 시작되었는가, 언제 실패했는가, 매 순간 얼마나 잘 진행되고 있었는가. 그래서 인터페이스는 타임라인입니다. 위에는 스트림, 그 아래에는 팔 자체의 신호를 레인으로, 모든 주석 층을 같은 시간축에 올립니다.

yaml

annotation_schemes:
  - annotation_type: episode_annotation
    name: episode_review
    description: "Mark the phases, judge the outcome, and draw the progress."
    source_field: episode
    layers: [phases, outcome, reward]
    phases:
      - {name: reach,     color: "#4ECDC4", key_value: "1"}
      - {name: grasp,     color: "#FFD93D", key_value: "2"}
      - {name: transport, color: "#6C8AE4", key_value: "3"}
    outcomes: [success, partial, failure]
    failure_causes: [missed grasp, object slipped, collision]
    reward_range: [0.0, 1.0]
    series_shown: [gripper, wrist_force]

동작하는 예시: examples/embodied/lerobot-episode/.

층마다 답하는 질문이 다르다

층	질문
`phases`	로봇이 무엇을, 언제 하고 있었는가
`outcome`	잘되었는가, 아니라면 왜인가
`reward`	매 순간 완료에 얼마나 가까웠는가

셋은 주석자의 시간을 아주 다르게 씁니다. 단계는 에피소드당 몇 초, 조밀한 보상 곡선은 몇 분입니다. 대부분의 프로젝트는 셋 다가 아니라 일부만 켭니다.

결과는 둘이 아니라 셋

success, partial, failure. 실제 로봇 데이터에서는 부분 성공이 가장 흔한 결과이며, 이를 이진값으로 밀어 넣으면 애초에 그 데이터셋에 주석을 달 가치를 만들어 주는 신호가 파괴됩니다.

지시 재라벨링도 함께 수집됩니다. 기록된 과제에서 실패한 에피소드가 다른 과제의 성공 시연인 경우는 자주 있고, 그것이 실제로 보여주는 바를 적어 두면 버려질 녹화가 쓸 수 있는 것이 됩니다.

영상만이 아니라 레인을 본다

레인 간축은 최솟값·최댓값을 보존하므로, 한 프레임짜리 힘 스파이크도 폭 300픽셀 레인에 그려지면서 평균으로 지워지지 않고 살아남습니다.

이는 표시상의 배려에 그치지 않습니다. 파지 실패는 대개 카메라에서 분명해지기 여러 프레임 전에 그리퍼와 손목 힘 파형에 나타납니다. 그래서 레인은 탭 뒤가 아니라 영상 옆에 있습니다.

가져오기와 내보내기

LeRobot v2를 pyarrow로, HDF5(RoboMimic과 ALOHA)를 h5py로, RLDS/TFDS를 tensorflow_datasets로, 그리고 ROS bag을 들여옵니다. 내보내기는 LeRobot v2에 더해 프레임별 JSONL 사이드카를 냅니다. 그래서 읽기 전용 공개 데이터셋도 당신의 주석을 싣기 위해 다시 쓸 필요가 없습니다.

일치도

층이 세 가지 다른 종류의 답이므로 측도도 셋입니다.

단계 경계 — 시간 IoU
결과 라벨 — Krippendorff's α
보상 곡선 — ICC와 Pearson

각각은 커버리지를 함께 밝혀서 보고됩니다. 타임라인의 5%에서 계산한 상관은 나머지 95%에 대해 아무것도 말해주지 않기 때문입니다.

Potato의 자리

ATLAS(빈 공과대학교)는 긴 호흡의 행동 분할에 집중한 데스크톱 도구로, ROS bag과 RLDS를 기본 지원하며 단독 주석자의 경계 정밀도를 위해 만들어졌습니다. 고유수용 시계열을 영상과 나란히 보여주면 영상만 쓰는 도구에 비해 경계 오차가 줄어든다는 이 도구의 공개된 발견이, Potato가 그 레인을 그리는 이유입니다. Rerun과 Foxglove는 로보틱스 시각화 도구로 가장 뛰어납니다.

Potato가 갖는 고유한 기여는 다중 주석자를 지원하고, 웹으로 배포되며, 일치도 통계를 갖춘 에피소드 주석 도구라는 점입니다.