A evolução da IA: de modelos que só escrevem texto a agentes que veem o mundo e manipulam objetos físicos. Este módulo monta o mapa mental que sustenta todo o resto do curso.
A progressão de modelos que processam apenas texto (LLMs) para modelos que também veem (VLMs) e, finalmente, para modelos que geram ações motoras no mundo real (VLAs). Cada salto adiciona uma modalidade — entender essa cadeia é o alicerce de tudo que vem depois no curso.
Sem clareza sobre o que muda entre GPT-4V e RT-2, fica impossível avaliar arquiteturas VLA ou decidir qual modelo usar num projeto real. A diferença não é "mais um recurso" — é uma modalidade nova de saída: ação.
Existe um abismo entre compreensão semântica (saber o que é um copo) e competência motora (pegar o copo sem derrubá-lo). VLMs entendem cenas com precisão, mas não traduzem esse entendimento em ações físicas coordenadas. É esse gap que os VLAs existem para fechar.
Ancorar conceitos abstratos em percepções sensoriais concretas.
Diferença entre desempenho em simulação e no mundo real.
Ajustar ações continuamente com base no feedback sensorial.
O paradigma de foundation models (pré-treino em larga escala + fine-tuning) aplicado à robótica. Em vez de treinar do zero para cada tarefa e robô, parte-se de um modelo base treinado em dados massivos de múltiplos robôs e ambientes — e depois adapta. É por isso que VLAs se tornaram viáveis.
Representações ricas vindas da internet transferem surpreendentemente bem para controle motor — mesmo com poucos dados de demonstração. Na prática: você raramente treina um VLA do zero; você faz fine-tuning de um modelo base.
Conceito da psicologia ecológica de J.J. Gibson adaptado à robótica: affordances são as possibilidades de ação que um objeto ou ambiente oferece. Um copo "aforda" ser agarrado; uma porta, ser aberta. Detectar affordances é identificar quais ações são fisicamente viáveis na cena atual.
SVG affordance: instrução + cena → ação viávelA distinção entre IA que vive só no digital (chatbots, geradores de imagem) e IA incorporada em corpos físicos que interagem com o mundo real. Trabalhar com VLAs exige mudar a mentalidade: um erro não é uma resposta errada num chat — é uma colisão, uma queda de objeto, um risco de segurança.
Inteligência verdadeira requer um corpo que interaja com o ambiente.
Regularidades entre ações e mudanças sensoriais que o agente aprende.
Descompasso entre simulação e mundo real que dificulta o deploy.
Em apenas 3 anos saímos de "LLMs não controlam robôs" para "VLAs generalistas controlam múltiplos embodiments". Conhecer a cronologia ajuda a calibrar expectativas e projetar onde estaremos em 2027–2028.
Modelos de linguagem em larga escala mostram capacidades emergentes. Nasce a ideia de "foundation model".
Primeiro VLA de destaque: transfere conhecimento da web para controle robótico real. A ação vira "mais um token".
Open-source democratiza o acesso. Surge a Physical Intelligence (π0). LeRobot e Octo abrem o ecossistema.
Figure 02, GR00T e a explosão de startups de robótica. VLAs generalistas controlam múltiplos embodiments.
Scaling laws investigam se mais dados/parâmetros melhoram o desempenho motor como melhoram linguagem. Emergent capabilities são habilidades que surgem com escala sem serem explicitamente treinadas. O ecossistema open-source democratiza o que antes exigia labs com milhões em hardware.
Diga a resposta em voz alta antes de revelar — recordar é o que fixa, não releituras.
LLM → VLM → VLA— cada salto adiciona uma modalidade; o VLA adiciona a ação na saída.
O gap entender→agir— entender uma cena não é o mesmo que executar um movimento; é o problema central do VLA.
Foundation models— pré-treino massivo + fine-tuning é o que tornou VLAs viáveis.
Affordances e embodiment— agir no mundo físico tem consequências reais e exige avaliar viabilidade.