WorldCast - 武汉大学联合小米开源的视频生成模型

WorldCast是什么

WorldCast是武汉大学联合小米开源的视频生成模型，输入一张角色参考图、目标相机轨迹和1–4张任意视角锚点图，可生成相机绕角色360度旋转且身份不崩的视频。WorldCast靠两条机制实现，一套机制管相机轨迹把参考图还原成点云，沿轨迹渲染逐帧引导；一套机制管跨视角把锚点图存成可检索的记忆，镜头转到哪一面就调取哪一面的信息，避免背对镜头时变脸。

WorldCast的主要功能

• 大角度相机控制：输入目标相机轨迹，可让镜头绕角色旋转、推拉、环绕，最大支持 360 度整圈运动。
• 跨视角身份一致：生成视频中角色的五官、发型、服装在任意视角下保持同一身份。
• 多视角锚点图补全：接受 1–4 张任意视角的锚点图作为补充信息，专门补全单张参考图看不到的那一面。
• 文本与图像双条件生成：结合文本提示与初始角色图，沿轨迹生成内容可控的后续帧，适用于角色展示、虚拟拍摄预演等场景。

WorldCast的技术原理

• 轨迹对齐几何引导：用预训练深度估计器从初始参考图估计深度，将图像反投影为带颜色的三维点云；通过校准找到使渲染运动与目标轨迹最匹配的尺度，用点 splatting 加深度缓冲沿轨迹渲染出逐帧的 RGB 引导图和覆盖掩码，同时用 Plücker 射线编码目标相机的几何信息，与噪声潜变量、初始帧条件在 patch embedding 前做通道拼接。覆盖掩码标记了点云没有覆盖到的像素，提示生成器哪些区域需要自由补全。
• 几何对齐记忆注意力（GAMA）：对初始图和锚点图做前景分割与几何估计，用 Umeyama 对齐把各锚点相机摆进目标轨迹的同一坐标系；每个观察经 VAE 编码并附加 Plücker 射线表示后，拼接成一份”几何对齐角色记忆”。在 backbone 第 0、2、……、38 块之后插入 20 个记忆注意力块，让视频令牌与记忆令牌做联合自注意力，按当前视角检索互补的几何证据；残差分支采用零初始化，训练初期不扰动预训练 backbone。消融实验显示，去掉 GAMA 后身份相似度从 0.555 跌至 0.370。
• 两阶段训练与数据构造：第一阶段在 5 万条 UE5 合成相机运动序列上训练相机控制能力，消融表明去掉该数据后轨迹误差 ATE 从 0.100 恶化到 0.359，Plücker 条件同样不可或缺；第二阶段在 3 万条 Blender 多视角锚点渲染数据上训练记忆注意力，覆盖 99 个角色、33 个环境，合计 8 万样本，并为每个样本提供参考视频、初始 RGB-D、相机内外参、渲染引导与覆盖掩码。

微信关注回复“开源”，加入AI开源项目交流群

如何使用WorldCast

• 克隆仓库：git clone https://github.com/PixCtrol/WorldCast 并进入目录。
• 搭建环境：准备 Python ≥3.10、支持 bf16 的 CUDA 显卡，执行 pip install -r requirements.txt。
• 下载权重：从 HuggingFace 下载 Wan2.1-I2V-14B-720P 底座放入 pretrained/Wan2.1-I2V-14B-720P/，并将 base_dit.safetensors 与 worldcast_bank.safetensors 放入 checkpoints/。
• 准备输入：放入 1 张角色参考图和 1–4 张锚点图，在 manifest（清单文件）中指定图像路径、文本提示和相机轨迹。
• 运行推理：执行 python demo.py --manifest demo_case_traj5.json --model_root pretrained/Wan2.1-I2V-14B-720P --ckpt checkpoints/worldcast_bank.safetensors --init_dit_from checkpoints/base_dit.safetensors 生成视频。
• 批量与自定义：批量推理参考 scripts/infer/infer_worldcast.py 与 launch/infer/run_anchor_inference_example.sh，轨迹可用 scripts/data/trajectories.py 生成。

WorldCast的核心优势

• 跨视角身份一致性最强：在自建 CLACT 基准上身份相似度 ArcFace 达 0.555，明显领先 Uni3C等基线，镜头绕到角色背后也不会”变脸”。
• 相机控制精度最高：轨迹误差 ATE 0.065、RTE 0.020、RRE 0.896 均为对比方法中最佳，支持最大 360 度整圈环绕。
• 大角度场景专用设计：通过锚点图记忆检索显式补全单图看不到的”背面”信息，专为解决大角度轨迹下的身份崩坏而生。
• 机制贡献可验证：消融显示去掉 GAMA 记忆注意力后 ArcFace 从 0.555 暴跌至 0.370，跨视角一致性收益来源清晰、非玄学。
• 开放程度完整：论文、推理代码、模型权重三件套齐全且以 Apache-2.0 协议开放，是相机控制方向少见的全开放工作。

WorldCast的项目地址

• 项目官网：https://pixctrol.github.io/WorldCast/
• GitHub仓库：https://github.com/PixCtrol/WorldCast
• HuggingFace模型库：https://huggingface.co/ly56/worldcast
• arXiv技术论文：https://arxiv.org/pdf/2610.33135

WorldCast的同类竞品对比

WorldCast的应用场景

• 角色环绕展示：让镜头绕虚拟角色 360 度旋转展示，服装、手办、虚拟偶像的外观细节始终一致。
• 虚拟拍摄预演：实拍前用角色替身按拟定机位轨迹预演运镜，验证分镜效果，降低实拍试错成本。
• 数字人多视角一致性视频：生成数字人转身、侧写、背影等多角度素材，保持”同一张脸”，用于虚拟主播与形象宣传片。
• 游戏角色动画：为游戏过场或角色展示页生成环绕运镜动画，避免传统多视角建模渲染的重复成本。
• 电商产品动画：围绕商品生成旋转展示视频，用于详情页与广告素材制作。