Anotação de Visão e Espacial
O Potato anota imagens, vídeo, varreduras de gigapixels, nuvens de pontos 3D, mapas de profundidade e episódios de robôs, e relata concordância com correção de acaso sobre todos eles. Visão geral da superfície de visão e espacial.
O Potato anota imagens, vídeo, varreduras de gigapixels, nuvens de pontos 3D, mapas de profundidade, episódios de robôs e execuções de vídeo generativo, tudo a partir de uma única configuração YAML, e relata concordância com correção de acaso sobre cada um deles. Esta página é o mapa, e cada superfície tem a sua própria página abaixo.
A versão 2.8 é onde a maior parte disso chegou. Antes dela, o Potato era uma plataforma de anotação de texto com um modo de imagem.
O que há aqui
| Superfície | Esquema | Página |
|---|---|---|
| Caixas, polígonos, polilinhas, elipses, cuboides, pontos-chave, máscaras | image_annotation | Primitivas de geometria |
| Clique em um objeto e obtenha uma máscara | image_annotation com a ferramenta sam | Segmentação interativa |
| Digite uma expressão e obtenha todas as ocorrências com caixa | image_annotation com text_prompt | Prompts de texto |
| Acompanhe um objeto ao longo de um clipe | video_annotation | Rastreamento em vídeo |
| Varreduras de gigapixels em resolução total | viewer: deepzoom | Zoom profundo |
| Nuvens de pontos 3D e cuboides orientados | spatial_annotation | Nuvens de pontos |
| Mapas de profundidade com leitura em metros | exibição depth_map | Mapas de profundidade |
| Demonstrações de robôs em uma linha do tempo | episode_annotation | Episódios de robôs |
| Execuções de vídeo generativo | rollout_evaluation | Avaliação de modelos de mundo |
| Expressões de referência e apontamento | grounding_eval, region_caption | Grounding de VLMs |
| 48 formatos de importação e 72 de exportação | — | Formatos de visão computacional |
| Quais modelos, e sob qual licença | — | Catálogo de modelos |
A parte incomum
As ferramentas de desenho não são o que distingue o Potato aqui. CVAT, Label Studio, Roboflow, V7 e Supervisely desenham caixas e polígonos, e vários deles o fazem melhor. O guia comparativo diz onde.
O que o Potato acrescenta é que cada uma dessas superfícies relata concordância com correção de acaso. Não encontramos nenhuma outra plataforma de anotação que relate um coeficiente com correção de acaso para rótulos espaciais. O padrão é o IoU bruto ou a correspondência percentual, que são inflados sempre que uma resposta domina, e uma resposta quase sempre domina. Veja Medição e Integridade para saber o que isso significa para caixas, máscaras, cuboides 3D, tempos de eventos e legendas.
Os modelos rodam localmente
A segmentação interativa e os prompts de texto de vocabulário aberto rodam ambos no navegador do anotador, por meio do ONNX Runtime Web. Não há GPU para provisionar, nem servidor de modelo para manter no ar, nem chamada de rede a cada clique. Depois que os pesos estão na máquina, tudo funciona isolado da rede (air-gapped).
A propagação de máscaras em vídeo é a exceção e roda no servidor, por escolha: o custo dela é por quadro, e não por prompt, e cem quadros de um modelo de vídeo em uma aba do navegador seriam minutos de interface travada.
Nada vem embutido e nada é baixado a menos que você peça:
potato download-models --list
potato download-models mobile_samA página do catálogo de modelos informa a licença de cada modelo, e o download-models se recusa a baixar um modelo de uso não comercial sem --accept-licence.
Primeiros passos
O caminho mais rápido é um exemplo executável. Cada um destes está no repositório do Potato e roda a partir da raiz do repositório, sem downloads:
examples/image/interactive-segmentation/— clique para segmentarexamples/image/text-prompt-labeling/— digite uma expressão e rotule a partir delaexamples/video/mask-propagation/— rastreie através de uma oclusãoexamples/spatial/kitti-cuboids/— caixas 3D sobre lidarexamples/embodied/lerobot-episode/— uma demonstração de robô
Leitura adicional
- Medição e Integridade — concordância sobre geometria, tempo e 3D
- Referência de anotação de imagens
- Referência de anotação de vídeo
- Notas de versão da 2.8