Hy-Nomas - 支持自由多轮交互与镜头控制的视频世界生成模型

Hy-Nomas 是一个视频世界生成模型，目标是把「生成一段视频」变成「持续经营一个世界」。据项目说明，它支持通过文本指令与镜头控制进行自由形式的多轮交互：用户可以在生成过程中不断引入新物体、改变风格与场景、描述动作，或调整相机运动，模型则一段接一段地生成视频，并借助持久的 KV 缓存把先前生成的上下文带到后续片段中。它适合需要连续、可交互视频内容的研究者与开发者，也适合希望在单卡环境下尝试世界模型推理的工程人员。

维护者与状态

该项目由 tencent 维护，托管在 Hugging Face 模型仓库，框架标记为 diffusion-single-file。仓库创建于 2026-10-21，最后更新于 2026-10-28。截至 2026-10-30，近 30 天下载量为 44124，点赞数为 118。事实表中未列出正式 release 信息，仓库以模型资产与配置文件的形式组织，使用时应以仓库当前内容为准。

主要能力

以下能力均据项目自述整理：

• 自由形式交互：可以用关于主体、动作、外观、风格与环境的指令，逐段引导后续生成内容。
• 镜头控制：除文本外还可提供相机轨迹，控制视角与运动。
• 连续生成：在延续同一个世界时，通过 KV 缓存复用此前片段的上下文。
• 蒸馏推理：每个片段使用 8 步 DiT 去噪，再由微调过的 PixelUMM 解码器把潜变量还原为像素视频。
• 灵活部署：提供标准序列并行配置与单 GPU 配置两种路径，并可通过 Web 演示进行交互。

项目自述给出的蒸馏推理配置为 8 步去噪、720 × 1280 分辨率、24 FPS。另有一套独立配置面向单张 NVIDIA GeForce RTX 4090，使用 INT8 的 DiT 权重、INT8 KV 缓存、FP8 解码器与 CPU offload。架构上，模型在压缩的视频潜空间内做扩散、在视频片段之间做自回归：文本侧使用 Qwen2.5-VL-7B-Instruct 的语言模型组件作为文本编码器，其 3584 维隐状态经两层 token refiner 投影到 DiT 的 2048 维隐空间；相机侧使用归一化的 4×4 外参矩阵，按四帧分组展平为 64 维输入，并在双流块中通过交叉注意力注入视频分支。主干为 54 个双流 MMDiT 块，16 个注意力头，每头 128 维，前馈扩展 4 倍。视频潜变量采用 DCAE-V 的 f32t4c32 表示，即 32 通道、空间 32 倍压缩、时间 4 倍压缩；默认解码器为 36 层、4096 维隐藏大小、32 个查询头与 8 个 KV 头的微调 PixelUMM，按 4×16×16 tubelet 处理 RGB 视频，时间窗口为 10 个潜帧、重叠 5 个潜帧。标准配置保留完整历史（不启用滑动窗口），单 GPU 配置默认的历史预算为 18 个潜帧，该预算只作用于历史上下文，不影响当前片段长度。

项目同时发布了 Hy-Nomas-Bench，据项目说明包含四个基准、共 280 个测试用例，覆盖多轮自由文本交互、相机导航、文本与相机交错控制以及空间记忆，用于评估连续世界生成过程中的交互可控性与一致性，并提供结构化提示、交互序列、键盘时间线与参考相机轨迹。

使用入口

模型仓库地址为 tencent/Hy-Nomas，模型资产、配置与说明均在该仓库中。

据项目说明，仓库按组件组织资产，需要为所选推理配置挑选匹配的生成与解码检查点：主检查点为蒸馏 DiT（FP32），标准配置以 BF16 加载；单 GPU 配置使用 INT8 量化版蒸馏 DiT，权重以 INT8 存储而线性计算仍为 BF16；另有非蒸馏的基础自回归 DiT（FP32）。适配器方面提供可选的 Cinematic LoRA，以及基于 RealSource-World 真实机械臂数据集训练、需合并进蒸馏 DiT 的 Robotics LoRA。视频自编码器为 DCAE-V，默认解码器为微调 PixelUMM，单 GPU 配置另提供 FP8 量化版解码器。

交互方式上，Web 演示依赖一个名为 Nomas-PE 的独立服务，先把用户指令转换为结构化生成提示，该服务与文本编码器分离且为演示所必需；离线推理则可以直接读取预先准备好的提示文件。仓库中给出了对应的推理示例与配置，具体命令与参数请以仓库内文件为准。

许可与限制

许可证为 apache-2.0。

使用边界方面，据项目说明需注意以下几点：单 GPU 配置依赖 INT8 权重、INT8 KV 缓存、FP8 解码器与 CPU offload 的组合，其历史上下文受 18 个潜帧的默认预算约束，与标准配置保留完整历史的行为不同；Web 演示必须额外部署 Nomas-PE 提示增强服务，离线推理可绕过该服务但需要自备提示文件；蒸馏模型与基础模型用途不同，8 步推理示例对应蒸馏模型；LoRA 适配器需与兼容的浮点 DiT 配合，Robotics LoRA 需合并进蒸馏 DiT 才能用于增强机器人仿真场景。此外，模型输出为生成内容，实际效果与适用场景应结合 Hy-Nomas-Bench 的评测方式自行验证。