AB
AiBoss
News

Google DeepMind 发布 Genie 4:实时世界模型原生支持音频

Google DeepMind 发布 Genie 4 世界模型研究预览版,面向受信任测试者开放。该模型可依据文本与图像提示实时生成可探索世界,并原生生成环境音、音乐与角色对白;Gemini 模型首次进入模拟循环充当规划器。

核心事实

据 MarkTechPost 报道,Google DeepMind 已发布世界模型 Genie 4,以研究预览形式面向受信任测试者开放。该模型可根据文本和图像提示实时生成可探索的虚拟世界,并同步生成环境音、音乐与角色对白。用户通过键盘控制移动,并用自然语言提示引导场景走向。DeepMind 称,这是其首个原生生成音频的实时世界模型,接替 2025 年 8 月公布的 Genie 3。

架构上的主要变化是:一个 Gemini 模型进入模拟循环充当规划器。按报道描述,Gemini Omni 负责锚定每个世界的观感与行为,Gemini 3.8 Flash 负责把目标拆解为步骤、检查画面帧并据此重新规划。

背景与影响

DeepMind 将这一设计称为迈向「混合世界模型」的早期一步:语言模型负责结构与叙事,Genie 负责渲染画面与声音。报道认为,这一模式对构建智能体或机器人训练环境的人具有参考意义。报道提到的一个研究演示中,Gemini 4 Argon 将跳棋任务拆成步骤,Genie 4 逐步接收文本说明并模拟 Apptronik 的 Apollo 人形机器人下棋。DeepMind 表示,测试者覆盖创意、新闻、教育、游戏与工程等领域。

限制与来源

DeepMind 未公布 Genie 4 的参数、分辨率、帧率或基准测试数据。官方列出的未解问题包括:长时间会话、复杂提示修改或导航过程中,视觉细节与物体恒存性会漂移;交互仅限数分钟;真实地点无法完全准确模拟;可读文字通常只在输入描述中出现时才清晰;实时音频准确性与多智能体交互仍待解决。据 TechCrunch 的简报,场景一致性最长约 2 分钟。访问方面,目前仅限受信任测试者,DeepMind 称预计不久向 Google AI Ultra 订阅者在 Project Genie 中开放,随后是 Gemini API 与 Google AI Studio 的早期访问伙伴;所有视频与音频将带有 SynthID 水印。具体可用范围与时间以官网当前信息为准。本文信息来自 MarkTechPost 报道,尚未获 DeepMind 官方独立确认的细节应谨慎看待。