Desmontando a arquitetura por dentro: como encoder visual, backbone de linguagem e decodificador de ações se conectam para transformar pixels e palavras em movimento físico.
O encoder visual é o primeiro degrau da percepção: converte cada frame da câmera em vetores densos que o backbone de linguagem consegue "ler". A escolha do encoder — SigLIP, DINOv2 ou ViT puro — define o que o robô é capaz de enxergar com precisão.
Conceito PrincipalA imagem de 224×224 pixels é dividida em patches de 14×14 ou 16×16 pixels. Cada patch é projetado linearmente num vetor denso de alta dimensão (tipicamente 768 ou 1024 dimensões). Esses vetores — os visual tokens — são a linguagem interna que o encoder fala com o backbone LLM.
Uma imagem de 224×224 com patches de 14×14 gera 256 visual tokens. Cada token carrega informação local sobre textura, cor e bordas — o conjunto carrega a estrutura espacial da cena inteira.
O backbone LLM é o cérebro central do VLA. É ele que funde visual tokens com text tokens, raciocina sobre a cena e decide o que fazer. A escolha do backbone — e quantos parâmetros ele tem — define o trade-off fundamental entre capacidade de raciocínio e latência de resposta.
Tip BoxModelos como Llama 3, Gemma 2 e Qwen 2.5 foram treinados em trilhões de tokens de texto. Eles já "sabem" o que é um copo, onde fica a pia e como seguir instruções compostas como "coloque o garfo à esquerda do prato". Treinar esse conhecimento do zero para cada robô seria proibitivamente caro — o reuso é a chave da generalização.
Uma MLP simples (2 camadas lineares) mapeia visual tokens do espaço do encoder (ex: 1024 dims) para o espaço de embedding do LLM (ex: 4096 dims). Esse "tradutor" é o único novo componente que precisa ser treinado do zero.
Visual tokens e text tokens são concatenados numa sequência unificada. O mecanismo de atenção do transformer trata ambos da mesma forma — não há diferença arquitetural entre "ver" e "ler".
O backbone processa a sequência completa e produz embeddings de saída ricos que codificam: "o copo está 15 cm à frente, à esquerda do prato, instrução diz para pegá-lo". Esses embeddings alimentam o action head.
O action head é onde VLA diverge radicalmente de um VLM comum. Robôs operam em espaços contínuos — posição em metros, torque em Newton-metro — mas LLMs geram tokens discretos. O action head é o componente que resolve essa incompatibilidade fundamental.
Conceito PrincipalUm robô manipulador de 7 DoF precisa de 7 números reais a cada timestep: (x, y, z, rotX, rotY, rotZ, gripper). Esses números podem ser 0.3427m ou 1.7293 Nm — valores arbitrariamente precisos. O vocabulário de um LLM tem tokens discretos como "cat", "42" ou "[EOS]". Não existe token para "0.3427".
Diferentes action heads resolvem isso de formas distintas: discretização em bins, regressão direta via MLP, ou modelos generativos (diffusion, flow matching). Cada abordagem tem trade-offs de precisão, latência e suavidade de movimento.
Ambos transformam ruído em ações. A diferença: diffusion usa um processo de denoising iterativo com muitos passos (tipicamente 10-100); flow matching aprende um campo vetorial e resolve uma ODE em menos passos (2-4). Resultado: π0 consegue gerar ações suaves a 50 Hz, enquanto heads difusivos típicos precisam de comprometimento entre qualidade e velocidade.
Como representar uma trajetória robótica como sequência processável? Duas filosofias fundamentais: discretizar o espaço de ações em buckets (compatível com vocabulário LLM, porém limitado em resolução) ou gerar valores contínuos diretamente via modelos generativos (preciso, porém arquiteturalmente mais complexo).
SVG: Bins vs Contínuo Box de dadosCo-fine-tuning é o processo de treinar simultaneamente os componentes visuais e linguísticos do VLA em dados de demonstração robótica. Em vez de congelar o encoder e treinar só o action head, todos os componentes aprendem juntos — e é exatamente isso que faz VLAs superarem pipelines modulares.
Tip BoxO OpenVLA demonstrou empiricamente que co-fine-tuning melhora a performance em até 16,5% comparado ao fine-tuning apenas do action head. A razão: quando o encoder visual pode se adaptar à tarefa, ele aprende features específicas para manipulação — como detectar bordas de preensão — que features de web images não capturam.
O gargalo mais cruel dos VLAs reais não é a arquitetura — é o tempo. Um robô precisa decidir ações a 5–50 Hz, mas um LLM de 7B parâmetros pode levar centenas de milissegundos por token. O budget de tokens define quantos tokens visuais e textuais o sistema consegue processar dentro do tempo de controle disponível.
Timeline: frequências de controle200 ms por ação. VLAs de 7B com quantização INT8 (ex: OpenVLA) conseguem operar nessa frequência em GPUs de consumo. Suficiente para 80% das tarefas de manipulação tabletop.
~67 ms por ação. Requer modelos menores (3B), quantização agressiva (INT4) ou async inference com action chunking. KV-cache é obrigatório para reusar tokens do contexto.
20 ms por ação. Território do π0 com flow matching (2-4 ODE steps). Inviável com discretização bin + LLM full size. Requer co-design de arquitetura e hardware.
O Nvidia Jetson AGX Orin (275 TOPS) permite rodar SmolVLA ou Qwen-VLA <3B com quantização INT4 a 8–12 Hz — suficiente para tarefas tabletop — sem nenhum servidor externo. Para modelos de 7B como OpenVLA, ainda é necessário uma GPU discreta (RTX 3090 ou superior) no loop.
Diga a resposta em voz alta antes de revelar — recordar é o que fixa, não releituras.
O encoder visual— SigLIP, DINOv2 ou ViT — converte frames da câmera em visual tokens que o LLM consegue processar via patch embedding.
O backbone LLMfunde visual tokens e text tokens num espaço unificado, trazendo world knowledge e reasoning de bilhões de tokens de pré-treino.
O action headresolve a incompatibilidade discreto×contínuo via bins, diffusion ou flow matching — cada abordagem com trade-offs de precisão, suavidade e latência.
Latência é o gargalo real— KV-cache, quantização e token compression são essenciais para viabilizar controle em tempo real a 5–50 Hz.