project
Apollo World - 百度 Apollo 推出的全模态世界模型
Apollo World是百度Apollo推出的面向物理AI的智能体驱动全模态世界模型。Apollo World基于真实数据构建虚拟城市，车辆行人都是可交互的AI智能体，实时生成相...
Apollo World是什么
Apollo World是百度Apollo推出的面向物理AI的智能体驱动全模态世界模型。Apollo World基于真实数据构建虚拟城市，车辆行人都是可交互的AI智能体，实时生成相机、激光雷达等多模态观测，与无人车形成感知决策闭环。Apollo World支持从起点到终点的完整出行任务，用于萝卜快跑虚拟测试验证，形成真实运营与虚拟迭代的数据飞轮。
Apollo World的主要功能
- 因果交互世界：虚拟城市中的车辆和行人是具备决策能力的 AI 智能体而非脚本道具，会依据自车动作实时改变行为。
- 全模态观测生成：实时生成相机画面与激光雷达点云，且天气等环境变化时各传感器数据同步变化，让无人车”像在真实道路上一样感知”。
- 端到端闭环仿真：驾驶系统的转向、加速、减速动作实时回传模型，世界随之更新并生成下一刻观测，形成感知、决策、行动、反馈的持续循环。
- 长程连续出行任务：支持从任意起点到任意终点连续行驶，经过不同道路与场景，完成接单、载客、送达的完整出行流程，而非单路口片段测试。
- 数据飞轮验证：从真实运营中提取高价值复杂场景转化为可重复的虚拟测试，测试结论反哺车端系统迭代，再回到真实道路检验。
Apollo World的技术原理
- “2+3″判断标准：百度将世界模型的基础门槛定为两条：因果性，即严格遵循时间单向性，由当前状态预测下一刻而非拼凑画面；交互性，即外部动作注入能动态改变未来世界状态。在此之上提出三条进阶指标，物理准确性、持久性、实时性，界定能用于无人驾驶的世界模型的完整要求。
- 智能体驱动的交通建模：Apollo World 将车辆、行人、非机动车建模为具备决策与交互能力的 AI 智能体，让自车减速、超车等不同动作引发智能体的差异化响应，覆盖脚本化仿真无法穷举的长尾交互场景。
- 全模态世界生成与观测渲染：模型基于当前世界状态生成相机图像与激光雷达点云等多模态观测，并保持跨传感器的一致性，使车端感知系统无需改造即可直接消费虚拟数据，是通用视频生成模型通常不具备的能力。
- 闭环交互推演机制：仿真并非单向回放，而是持续的双向循环，世界模型输出观测，驾驶系统基于观测做出决策，决策动作回传给世界模型，模型据此更新所有智能体行为并生成下一时刻的观测，如此往复形成端到端闭环，支撑长时程、跨场景的连续驾驶推演。
- 真实到虚拟的数据迭代回路：系统从真实运营数据中挖掘高价值复杂与风险场景，转化为可无限重复的虚拟测试，测试结论用于迭代车端驾驶系统，更新后的系统再回到真实道路验证，验证数据又回流世界模型，构成持续自我强化的数据飞轮。
如何使用Apollo World
Apollo World 目前不对外开放，是百度 Apollo 内部用于萝卜快跑测试与验证的系统。
Apollo World的核心优势
- 交互真实性：交通参与者由具备决策能力的 AI 智能体驱动，无人车的每个动作都会引发差异化世界反馈，贴近真实长尾交互场景。
- 全模态一致性：相机画面与激光雷达点云等多传感器数据实时同步生成且跨模态一致，是通用视频生成模型通常不具备的能力。
- 端到端闭环推演：感知、决策、行动、反馈持续循环，车端驾驶系统无需改造可直接接入虚拟测试。
- 长程任务能力：支持从任意起点到终点的连续完整出行任务，非传统仿真局限于单一路口或片段场景。
- 测试效率：单日可完成约十万公里虚拟路测，媒体称约相当于一辆带安全员的真实路测车连续测试三年，大幅降低验证成本。
- 数据飞轮闭环：真实运营、虚拟测试、系统迭代、实车验证持续循环，虚拟里程随真实运营不断扩展，且已直接在萝卜快跑全球化测试中投入使用。
Apollo World的同类竞品对比
| 维度 | 百度 Apollo World | Wayve GAIA-2 |
|---|---|---|
| 生成模态 | 相机画面+激光雷达点云等多模态同步生成，跨传感器一致 | 最多 5 路相机视频（448×960），时间空间一致，不生成激光雷达 |
| 交互方式 | 端到端闭环：自车动作实时回传，世界动态响应，支持任意起点到终点的长程任务 | 以条件生成为主：可精细控制自车运动、他车行人行为、天气时间、路网结构，开环生成场景变体 |
| 交通参与者 | AI 智能体自主决策，非脚本驱动，响应自车动作 | 可配置动态 agents 的位置、朝向、尺寸和行为，控制粒度细但属”设定”而非”自主博弈” |
| 落地形态 | 仅服务萝卜快跑，已用于其全球化测试验证 | 不直接运营车队，作为 AI 软件输出给日产、奔驰等车企及 Uber 平台 |
| 技术透明度 | 未披露底座模型、参数量、训练数据，提出”2+3″标准但无第三方验证 | 架构公开（视频分词器+潜空间扩散模型），数据覆盖英美德三国，可复现性更强 |
Apollo World的应用场景
- Robotaxi 全球化测试验证：萝卜快跑已用 Apollo World 做全球化部署前的驾驶策略验证，单日可完成约十万公里虚拟路测。
- 新城市落地预演：无人车进入新城市前，先在虚拟世界中把从接单、载客到送达的完整行程跑一遍，提前暴露路况与交通规则差异带来的风险。
- 长尾高风险场景复现：从真实数据中提取鬼探头、无保护左转、极端天气等稀有危险场景，在虚拟世界中无限次重复演练驾驶策略。
- 系统迭代回归测试：驾驶系统每次 OTA 更新前，在 Apollo World 中重放全量高价值场景做回归验证，确认无退化后再实车部署。
- 物理 AI 泛化底座：百度称该技术栈可拓展至机器人等物理 AI 场景，未来可为人形机器人、物流机器人提供同样的虚拟训练场。