AgentGarten - 面向进化型智能体的代码世界与神经渲染器

AgentGarten 是 MirroS-Lab 在 GitHub 上开源的项目，定位为「面向进化型智能体的代码世界」。按项目自述，智能体通过交互学习，而它能学到什么受限于练习所处的环境：环境既要「忠实」，即状态、规则与动力学和真实世界一样自洽；又要「真实」，即观测符合真实世界的视觉分布。AgentGarten 想做的正是同时满足这两点的实时交互环境——模拟器与游戏引擎维护持久状态并执行程序定义的规则，一个共享的神经渲染器则根据每个世界导出的深度与表面法线生成智能体看到的画面。据项目说明，智能体在这些环境中练习后，会把每一轮的经过蒸馏成 playbook，供后续智能体继承与继续积累。

从仓库当前状态看，它更适合关注世界模型、视频生成式渲染与智能体训练环境的研究者与工程团队，而不是想直接拿来跑一个成品智能体应用的普通用户。

维护者与状态

项目由 MirroS-Lab 维护，仓库创建于 2026-10-08，最后提交时间为 2026-10-09。截至 2026-10-27，仓库获得 204 个星标，尚无正式 release。也就是说，目前可获取的是仓库中的代码本身，没有版本化的发行包。

按 README 的 News 区块，2026/10/08 同时放出了 AgentGarten 技术报告与 MirroS 博客，以及神经渲染器的训练与推理代码。README 的 TODO 列表显示，神经渲染器训练代码、带 KV cache 的流式推理与服务内核、技术报告与博客、渲染器 checkpoint 已完成；实时渲染引擎（流式服务与交互式前端）、代码世界与智能体练习循环仍未完成。因此现阶段仓库的主体是渲染器部分，项目名称中「代码世界」的那一半还在路上。

主要能力

以下能力均据项目自述整理：

• 几何条件化的神经渲染器。渲染器以 Cosmos3-Nano 为基础，分三个阶段适配几何条件：先做从首帧出发的整段双向 rectified-flow 训练；再做自回归的 block-causal 训练，可用 teacher forcing 或 diffusion forcing，采样时使用 KV cache；最后用 Adversarial Forcing 把自回归模型蒸馏成少步学生模型。
• 精确回放与判别器正则。README 称每次 rollout 的回放是精确的，因此后续 block 上的损失可以更新学生模型对历史的编码方式；同时使用带精确 R1/R2 正则的真实数据判别器来提升视觉质量。
• 流式推理。Cosmos3Stream 以有界 KV cache 逐块运行渲染器，每个 block 用少量步数去噪后提交进缓存，使下一个 block 的条件可以依赖刚生成的内容。
• 免 torch.compile 的服务实现。据项目说明，prepare_serving 用手写 Triton 内核、cuBLAS 矩阵乘与 CUDA graphs 来服务 transformer，不使用 torch.compile。
• 验证渲染与快速解码。不训练时也可以渲染某个 checkpoint 的验证片段，输出深度、法线、真值与样本的对比视频；还可挂接 TAEHV 解码器加快 RGB 解码，编码仍走 Wan 编码器。

使用入口

代码仓库位于 MirroS-Lab/AgentGarten，项目主页为 mirros-lab.github.io/agent-garten。

据 README，安装需要 Python 3.11+ 与 PyTorch 2.9+，并运行在 CUDA 主机上。基本流程是克隆仓库后以可编辑模式安装带 data、media、wandb、te 等附加项的包，再从 .env.example 复制出 .env，填写权重路径、manifest、输出根目录与解释器。

git clone https://github.com/MirroS-Lab/AgentGarten.git
cd AgentGarten
pip install -e '.[data,media,wandb,te]'
cp .env.example .env

权重方面，训练从 Cosmos3-Nano 出发，并用 Wan 2.2 VAE 编码视频，README 给出了对应的 hf download 命令，下载后需把 WM_COSMOS3_NANO 与 WM_WAN22_VAE 指向它们。训练数据使用 JSONL manifest，每行一个片段，包含 video、depth、normal、caption 与 depth_scale 字段，路径相对 manifest。启动训练用 scripts/run.sh 配合实验配置，单节点多卡或多节点均可。推理侧 README 提供了一段 Python 示例，演示加载 artifact、准备服务、启动流并逐块去噪提交的写法。

许可与限制

项目采用 Apache-2.0 许可证。使用时需注意以下边界：

• 仓库尚无正式 release，接口与目录结构可能随开发变动。
• 按 README 的 TODO，实时渲染引擎（流式服务与交互式前端）、代码世界与智能体练习循环均未发布，当前无法据此搭建完整的「练习—复盘—playbook」闭环。
• 运行依赖 CUDA 主机与较新的 PyTorch 版本，并需要额外下载 Cosmos3-Nano 与 Wan 2.2 VAE 权重；README 提示内核 JIT 与图捕获在首次使用时发生，服务前需先预热输入形状。
• 项目自述建立在 Cosmos 3、Wan 2.2、TAEHV、DMD2、Self Forcing、rCM 等上游工作之上，使用前应一并了解这些组件的许可与限制。

本文所述能力与用法均来自项目 README 的自述，未做独立验证；具体行为请以仓库代码与文档为准。