O ecossistema de modelos VLA mapeado de ponta a ponta — dos pioneiros fechados do Google aos compactos open-source que rodam em CPU. Entenda o que cada modelo resolve e quando escolher cada um.
O RT-2 redefiniu o que um modelo de linguagem pode fazer: em vez de apenas descrever o mundo, ele age nele. Ao co-treinar dados robóticos com dados web em escala massiva, o Google DeepMind demonstrou que conhecimento da internet transfere para controle motor — um resultado que surpreendeu boa parte da comunidade em 2023.
Conceito principalRT-2 definiu o paradigma que praticamente todos os VLAs seguem hoje. Entender suas escolhas de design e limitações é o que contextualiza por que a comunidade buscou alternativas abertas e eficientes como OpenVLA, Octo e SmolVLA. Ele é o ponto de referência histórico incontornável.
Se o RT-2 mostrou o que era possível, o OpenVLA mostrou que era acessível. Um modelo de 7B parâmetros totalmente aberto, treinado sobre 970 mil trajetórias do Open X-Embodiment, com performance competitiva ao RT-2-X usando uma fração dos recursos — e com pesos, código e receita de fine-tuning disponíveis para qualquer pessoa.
Conceito: arquiteturaSigLIP + DINOv2 combinados: features semânticas + geométricas para manipulação fina.
Backbone de 7B parâmetros: raciocínio e compreensão de instruções em linguagem natural.
Ações mapeadas em 256 bins por dimensão, emitidas como tokens do vocabulário do LLM.
O fine-tuning eficiente via LoRA roda em uma única GPU de consumo (ex.: RTX 4090). Quantização INT4 permite inferência a ~6 Hz em hardware modesto. OpenVLA é o ponto de partida para qualquer projeto real com orçamento limitado.
Co-fine-tuning (visão + linguagem + ação juntos) melhora a performance em até +16,5% comparado a fine-tuning apenas do action head, justificando o custo computacional extra. O dual encoder supera encoders simples em tarefas de manipulação fina em múltiplos benchmarks.
O π0 é a resposta à pergunta: e se o action head não fosse discreto, mas contínuo e gerado por um processo de denoising? Ao usar flow matching em vez de tokenização de ações, a Physical Intelligence alcançou 50 Hz de controle com trajetórias suaves — necessárias para tarefas de alta destreza como dobrar roupas.
Timeline de inovaçãoO π0 usa o PaliGemma (VLM do Google) como base de percepção e raciocínio, aproveitando pré-treino em dados web de altíssima qualidade.
Sub-redes dedicadas à geração de ação recebem tokens do backbone VLM e produzem trajetórias contínuas via flow matching — sem discretização.
O campo vetorial aprende a transportar ruído gaussiano para ações via ODE. Resultado: controle a 50 Hz com suavidade incompatível com tokenização discreta.
Aprende um campo vetorial que transporta ruído gaussiano para a distribuição de ações via ODE. Mais estável que diffusion e mais rápido na inferência.
Viabiliza tarefas de alta destreza (dobrar roupas, montar caixas) com feedback em tempo quase contínuo — impossível com tokenização discreta.
Projetado para múltiplos robôs: um único checkpoint funciona em diferentes morphologies sem retreinar tudo do zero.
Destaque em tarefas de manipulação fina onde VLAs discretos falham: movimentos fluidos e multimodais em espaço de ação contínuo.
Enquanto RT-2 e π0 buscam máxima capacidade, o Octo aposta na pergunta oposta: qual o menor modelo capaz de generalizar? Com 27M a 93M parâmetros — centenas de vezes menor que o RT-2 — ele demonstrou que arquitetura modular e dados de qualidade valem mais que escala bruta.
Grid de conceitosNovos sensores e action heads podem ser adicionados sem retreinar o core. Um transformer com blocos de atenção sobre tokens de observação e tarefa — plugável e extensível.
Gera ações multimodais suaves via processo de denoising iterativo. Suporta condicionamento por linguagem ou por imagem-objetivo — mais flexível que binning discreto.
Treinado sobre 800 mil trajetórias do Open X-Embodiment, cobrindo múltiplos robôs e ambientes, permitindo zero-shot transfer para novos embodiments.
93M parâmetros rodam em GPUs acessíveis. Ideal para pesquisa rápida e prototipagem quando OpenVLA é grande demais para o orçamento de compute.
Use Octo quando precisar de um baseline rápido de treinar e testar ou quando o orçamento de GPU for limitado. Ele prova que nem todo VLA precisa de bilhões de parâmetros — arquitetura certa + dados certos > escala bruta.
A terceira geração de VLAs não busca bater benchmarks em servidores de data center — ela busca rodar em hardware embarcado e de baixo custo. SmolVLA roda em CPU; Qwen-VLA equilibra capacidade e latência em 1–3B parâmetros. A pergunta não é mais "quão bom?" mas "quão bom com o hardware que tenho?"
Grid fazer vs evitar (compactos)Não existe o melhor modelo VLA absoluto — existe o melhor modelo para cada restrição. A escolha errada custa semanas de trabalho e milhares de dólares em compute. Entender os trade-offs antes de começar é a diferença entre um projeto que avança e um que empaca.
Tabela comparativa como cardsDiga a resposta em voz alta antes de revelar — recordar é o que fixa, não releituras.
RT-2 definiu o paradigma— co-treinar dados web e robóticos, representar ações como tokens. Fechado e pesado, mas o ponto de referência histórico.
OpenVLA democratizou o acesso— 7B parâmetros, Apache 2.0, fine-tuning com LoRA em uma GPU. A baseline de referência para projetos reais.
π0 abriu a era do controle contínuo— flow matching a 50 Hz destrava manipulação fina impossível com tokenização discreta.
Compactos para o mundo real— SmolVLA, Qwen-VLA e Octo provam que on-device e edge são o próximo horizonte de VLAs acessíveis.