Skip to content

ビジョンと空間のアノテーション

Potato は画像、動画、ギガピクセルのスキャン、3D 点群、深度マップ、ロボットのエピソードをアノテーションし、そのすべてについて偶然一致補正した一致度を報告します。ビジョンと空間まわりの概観です。

Potato は画像、動画、ギガピクセルのスキャン、3D 点群、深度マップ、ロボットのエピソード、生成動画のロールアウトを、すべて一つの YAML 設定からアノテーションし、そのどれについても偶然一致補正した一致度を報告します。 このページは地図で、各領域には下に挙げた個別のページがあります。

これらの大半が入ったのがバージョン 2.8 です。それ以前の Potato は、画像モードを備えたテキストアノテーションのプラットフォームでした。

ここにあるもの

領域スキーマページ
ボックス、ポリゴン、ポリライン、楕円、直方体、キーポイント、マスクimage_annotationジオメトリプリミティブ
物体をクリックしてマスクを得るsam ツールつきの image_annotation対話的セグメンテーション
語句を入力して該当箇所すべてにボックスを得るtext_prompt つきの image_annotationテキストプロンプト
クリップを通して物体を追跡するvideo_annotationビデオ追跡
ギガピクセルのスキャンをフル解像度でviewer: deepzoomディープズーム
3D 点群と向き付き直方体spatial_annotation点群
メートル表示つきの深度マップdepth_map 表示深度マップ
タイムライン上のロボットの実演episode_annotationロボットのエピソード
生成動画のロールアウトrollout_evaluation世界モデルの評価
参照表現とポインティングgrounding_eval、region_captionVLM グラウンディング
インポート 15 種類、エクスポート 29 種類—CV フォーマット
どのモデルを、どのライセンスで—モデルズー

珍しいのはどこか

この領域で Potato を際立たせるのは描画ツールではありません。CVAT、Label Studio、Roboflow、V7、Supervisely はどれもボックスとポリゴンを描けますし、そのうち複数は Potato より上手です。どこがそうかは比較ガイドに書いてあります。

Potato が加えるのは、ここに挙げたどの領域も偶然一致補正した一致度を報告するという点です。空間ラベルについて偶然一致補正した係数を報告するアノテーションプラットフォームは、他に見つけられていません。標準は生の IoU か一致率で、これは一つの答えが優勢なときは必ず過大になりますし、たいていは一つの答えが優勢です。ボックス、マスク、3D 直方体、イベントのタイミング、キャプションにとってそれが何を意味するかは測定と整合性を参照してください。

モデルはローカルで動く

対話的セグメンテーションとオープン語彙のテキストプロンプトは、どちらもアノテーターのブラウザ内で ONNX Runtime Web を通して動きます。用意すべき GPU も、動かし続けるモデルサーバーも、クリックごとのネットワーク呼び出しもありません。重みがマシンに載れば、全体がエアギャップで動きます。

動画のマスク伝播は例外で、意図してサーバー上で動きます。コストがプロンプト単位ではなくフレーム単位であり、動画モデルの 100 フレームをブラウザのタブで回せば UI が数分固まるからです。

同梱されるものはなく、頼まない限り何もダウンロードされません。

bash
potato download-models --list
potato download-models mobile_sam

モデルズーのページに各モデルのライセンスを記載しており、download-models は --accept-licence なしに非商用モデルを取得することを拒否します。

はじめかた

いちばん速いのは動く例から入ることです。以下はいずれも Potato のリポジトリにあり、リポジトリのルートからダウンロードなしで実行できます。

参考文献