Pular para o conteúdo

Anotação de Visão e Espacial

O Potato anota imagens, vídeo, varreduras de gigapixels, nuvens de pontos 3D, mapas de profundidade e episódios de robôs, e relata concordância com correção de acaso sobre todos eles. Visão geral da superfície de visão e espacial.

O Potato anota imagens, vídeo, varreduras de gigapixels, nuvens de pontos 3D, mapas de profundidade, episódios de robôs e execuções de vídeo generativo, tudo a partir de uma única configuração YAML, e relata concordância com correção de acaso sobre cada um deles. Esta página é o mapa, e cada superfície tem a sua própria página abaixo.

A versão 2.8 é onde a maior parte disso chegou. Antes dela, o Potato era uma plataforma de anotação de texto com um modo de imagem.

O que há aqui

SuperfícieEsquemaPágina
Caixas, polígonos, polilinhas, elipses, cuboides, pontos-chave, máscarasimage_annotationPrimitivas de geometria
Clique em um objeto e obtenha uma máscaraimage_annotation com a ferramenta samSegmentação interativa
Digite uma expressão e obtenha todas as ocorrências com caixaimage_annotation com text_promptPrompts de texto
Acompanhe um objeto ao longo de um clipevideo_annotationRastreamento em vídeo
Varreduras de gigapixels em resolução totalviewer: deepzoomZoom profundo
Nuvens de pontos 3D e cuboides orientadosspatial_annotationNuvens de pontos
Mapas de profundidade com leitura em metrosexibição depth_mapMapas de profundidade
Demonstrações de robôs em uma linha do tempoepisode_annotationEpisódios de robôs
Execuções de vídeo generativorollout_evaluationAvaliação de modelos de mundo
Expressões de referência e apontamentogrounding_eval, region_captionGrounding de VLMs
48 formatos de importação e 72 de exportação—Formatos de visão computacional
Quais modelos, e sob qual licença—Catálogo de modelos

A parte incomum

As ferramentas de desenho não são o que distingue o Potato aqui. CVAT, Label Studio, Roboflow, V7 e Supervisely desenham caixas e polígonos, e vários deles o fazem melhor. O guia comparativo diz onde.

O que o Potato acrescenta é que cada uma dessas superfícies relata concordância com correção de acaso. Não encontramos nenhuma outra plataforma de anotação que relate um coeficiente com correção de acaso para rótulos espaciais. O padrão é o IoU bruto ou a correspondência percentual, que são inflados sempre que uma resposta domina, e uma resposta quase sempre domina. Veja Medição e Integridade para saber o que isso significa para caixas, máscaras, cuboides 3D, tempos de eventos e legendas.

Os modelos rodam localmente

A segmentação interativa e os prompts de texto de vocabulário aberto rodam ambos no navegador do anotador, por meio do ONNX Runtime Web. Não há GPU para provisionar, nem servidor de modelo para manter no ar, nem chamada de rede a cada clique. Depois que os pesos estão na máquina, tudo funciona isolado da rede (air-gapped).

A propagação de máscaras em vídeo é a exceção e roda no servidor, por escolha: o custo dela é por quadro, e não por prompt, e cem quadros de um modelo de vídeo em uma aba do navegador seriam minutos de interface travada.

Nada vem embutido e nada é baixado a menos que você peça:

bash
potato download-models --list
potato download-models mobile_sam

A página do catálogo de modelos informa a licença de cada modelo, e o download-models se recusa a baixar um modelo de uso não comercial sem --accept-licence.

Primeiros passos

O caminho mais rápido é um exemplo executável. Cada um destes está no repositório do Potato e roda a partir da raiz do repositório, sem downloads:

Leitura adicional