语言模型擅长回答“应该做什么”，机器人还必须解决“现在能不能做、怎样做、做完之后世界会变成什么样”。具身智能真正的技术跃迁，不是给聊天模型接上一双机械手，而是把语义理解、空间感知、动作控制、结果预测和安全约束放进同一个持续闭环。

机器人观察桌面、规划抓取路径、执行动作并根据视觉反馈重新规划的闭环示意
具身智能不是一次性生成答案，而是在感知、规划、行动和反馈之间不断闭环。
一句话理解：大语言模型提供知识和任务语义，视觉语言动作模型把语义变成控制信号，世界模型则让智能体在行动前预演后果、在行动后根据真实反馈重新规划。

一、为什么“会说”不等于“会做”

文本世界允许模型一次生成整段答案，物理世界却要求它在每个时间步重新观察。杯子可能滑动，抽屉可能卡住，人可能突然伸手，摄像头也可能被遮挡。一个语言上完全合理的计划，仍可能因为距离、摩擦、受力、关节极限或视野盲区而失败。

因此，具身系统至少需要五种彼此耦合的能力：

  • 感知：从相机、深度、触觉和本体传感器判断当前状态。
  • 语义：理解指令、物体用途、上下文规则和任务目标。
  • 动作：把目标转成机器人能够连续执行的关节或末端控制。
  • 预测：估计不同动作将怎样改变环境，并比较候选结果。
  • 闭环与安全：发现偏差、判断任务是否完成，并在危险前停下。
观察当前世界 → 理解目标 → 生成候选动作 → 预测后果 → 执行一小步 → 再观察 → 修正计划

二、第一步跃迁：从 LLM 到 VLA

早期做法通常让语言模型负责高层规划，再调用预先定义的技能库。它能把“收拾桌面”拆成“识别垃圾、抓取、放入垃圾桶”，但技能边界和真实可行性仍由外部系统兜底。

视觉语言动作模型（Vision-Language-Action，VLA）把动作也视为一种输出模态。Google DeepMind 的 RT-2 将网络视觉语言知识与机器人示范共同训练，并把机器人动作编码成可预测的 token；这使模型不仅能识别新物体，还能把部分语义知识迁移到真实控制。之后的 Gemini Robotics 系列继续把视觉、语言和动作放入统一模型，并使用单独的具身推理层处理空间理解、规划和工具调用。

这条路线的重要意义是：机器人不再只执行工程师事先写好的固定动作名称，而可以从视觉和语言上下文中直接产生控制。但 VLA 仍可能更像一种强大的“条件反射”——看到当前观察后预测动作，并不必然显式模拟几步之后会发生什么。

机器人在厨房中把人的指向、视觉空间感知与机械臂抓取轨迹连接起来
VLA 把“看到什么、理解什么”接到“下一步怎样动”，让语义意图进入连续控制。

三、第二步跃迁：世界模型让机器人先想后做

世界模型可以被理解为智能体内部的可学习模拟器。它不一定生成逼真的视频；更关键的是，它要保留对决策有用的状态，并预测如果执行某个动作，未来状态会如何变化。

Meta 的 V-JEPA 2 展示了两阶段路线：先从大规模视频中自监督学习运动和物体交互，再用少量带动作的机器人视频进行动作条件训练。模型随后可以在潜在表示空间中比较候选动作，用模型预测控制反复规划。官方报告同时提醒我们，当前模型在反事实和物理因果理解上仍明显落后于人类。

另一类世界模型侧重生成可交互环境。Google DeepMind 的 Genie 系列从视频学习动态世界：Genie 2 用于生成可控制的 3D 环境，Genie 3 又提高到实时交互、720p 和数分钟一致性。这类模型未必直接控制真实机械臂，却能扩充训练与评测环境，让智能体在低风险的“想象世界”里经历更多状态。

机器人在打开抽屉前比较碰撞、抓取失败和安全成功三种未来轨迹
世界模型的价值不在于生成好看的画面，而在于比较候选后果，并把不安全路径挡在执行之前。
模型层主要回答优势典型缺口
LLM / 多模态模型目标是什么意思？应该分几步？知识广、能沟通、善于任务分解可能忽视真实几何、动力学和时延
VLA看到这些画面和指令，下一段动作是什么？语义到动作端到端迁移长时程误差积累，跨机器人适配成本高
世界模型如果做这个动作，世界接下来会怎样？预测、比较、规划和合成训练环境物理一致性、实时性与不确定性仍有限
安全控制器这个动作是否允许执行？确定性约束、碰撞和力限制覆盖不了全部开放世界语义风险

四、真正可用的架构不是单一“大模型”

当前更现实的系统是分层协作，而不是让一个模型包办一切。高层具身推理模型理解任务、调用工具并监控进度；VLA 或专用策略执行动作；世界模型评估候选后果；传统控制器负责高频稳定和硬安全。

NVIDIA 的 GR00T N1 采用视觉语言模块与扩散式动作模块的组合，并混合人类第一视角视频、真实机器人轨迹、仿真与合成数据。Physical Intelligence 的 π0 则把预训练和任务后训练类比为语言模型的基础训练与专项微调，展示了整理衣物、收拾餐桌和组装纸箱等需要持续视觉反馈的任务。这些结果都说明，机器人泛化不仅依赖模型尺寸，更依赖多样数据、动作表示、闭环控制和可靠的后训练。

五、2026 年值得关注的变化

  1. 推理层和动作层开始解耦。具身推理模型负责空间判断、成功检测和工具使用，动作模型负责高速执行，便于不同机器人复用同一高层能力。
  2. 世界模型从“生成视频”走向“服务决策”。评价重点逐渐从画面好不好看，转向预测是否物理合理、能否提高任务成功率。
  3. 互联网视频成为物理知识来源。大量无动作视频负责学习运动先验，再用较少机器人数据将预测与可执行动作连接。
  4. 合成数据进入闭环。世界基础模型可以生成轨迹和场景，缓解真实机器人采集昂贵、危险和覆盖不足的问题。
  5. 成功检测成为核心能力。机器人必须知道任务是否完成、是否需要重试；这比仅生成下一步动作更接近长期自治。

六、还没有解决的五个硬问题

  • 长时程一致性：一次抓取成功不代表能稳定完成几十步家务，预测误差会不断累积。
  • 数据与具身差异：不同机械臂、相机位置、夹爪和控制频率会改变动作含义。
  • 实时性：模型需要在物体和人持续移动时快速重规划，云端长推理无法替代本地安全控制。
  • 可验证安全：语义安全、力控制、碰撞约束和故障恢复必须分层保护，不能只依赖模型“理解了”。
  • 评测可信度：演示视频容易挑选成功案例，真实价值要看盲测、失败率、恢复能力和跨环境复现。

七、结论：不是从文字直接跳到机器人

具身智能的演进更像一座逐层搭建的桥：语言模型提供语义和知识，VLA 把语义接到动作，世界模型补上预测与规划，传统机器人控制和安全工程则把系统留在物理边界之内。

真正的分水岭不是机器人能否在演示中完成一次任务，而是它能否在陌生环境里观察、行动、发现失败、重新规划，并在不确定时安全停下。当模型学会的不只是“下一步怎么动”，而是“这个世界怎样因我的动作而改变”，AI 才算真正开始拥有身体。