AB
AB
AiBoss站

全部分类

project

FastH3-Omni-Comfy - 面向 ComfyUI 的 BF16 与 INT8 ConvRot 视频音频生成权重

FastH3-Omni-Comfy 是 FastVideo 在 Hugging Face 上发布的 ComfyUI 适配权重集合，提供 BF16 与 INT8 ConvRot 两种扩散模型格式，可依据提示词与有序的图像、视频、音频参考生成视频与同步音频。本文整理其维护状态、文件构成、采样参数与许可边界。

FastH3-Omni-Comfy 是 FastVideo 发布在 Hugging Face 上的一组模型权重，定位是让 FastH3 Omni 这一多模态生成模型可以直接在 ComfyUI 中运行。按项目自述，它面向的是「从提示词加上有序的图像、视频与音频参考，生成视频与同步音频」这类工作流，并提供 BF16 与 INT8 ConvRot 两种扩散模型格式供选择。适合已经在使用 ComfyUI、希望把参考图、参考视频或参考音频作为条件输入来产出带声音视频的创作者与开发者；如果只是想要一个开箱即用的在线服务，这组文件本身并不提供。

维护者与状态

该仓库由 FastVideo 维护，框架标记为 diffusion-single-file。仓库创建于 2026-10-20，最后更新同样为 2026-10-20，也就是说这是一次性发布的权重集合，而非持续迭代的代码库。截至 2026-10-23，近 30 天下载量为 63092 次，点赞数为 108。事实表中没有给出正式 release 信息，因此这里不对版本节奏作任何推断。

主要能力

以下内容均来自项目自述，属于维护者对自身能力的说明，未经独立验证：

  • 视频与音频同步生成：据项目说明，模型可依据一段提示词以及有序排列的图像、视频、音频参考，同时生成视频画面与同步音频。音频输出依赖音频 VAE，缺少该组件时无法得到同步音轨。
  • 两种扩散模型格式：仓库的 diffusion_models/ 目录下提供 fasth3_omniref_8step_pruned_bf16.safetensors（BF16）与 fasth3_omniref_8step_pruned_int8_convrot.safetensors（INT8 ConvRot），README 要求二者择一放入 ComfyUI 的 models/diffusion_models/。
  • 配套文本编码器：text_encoders/ 下提供 BF16、INT8 ConvRot 与 NVFP4 AWQ 三种文本编码器文件。项目自述这些文本编码器已包含参考输入所需的视觉塔（vision tower）。其中 NVFP4 加速文本编码需要 Blackwell 硬件，其他设备应选择 BF16 或 INT8。
  • 配套 VAE：vae/ 下提供音频 VAE（fp32）以及视频 VAE 的 fp16 与 INT8 ConvRot 版本。
  • 参考输入的提示词标记：据 README，参考输入在提示词中使用对应的标签来引用，从而把图像、视频、音频参考按顺序绑定到生成条件上。

使用入口

权重与配套文件发布在 FastH3-Omni-Comfy。按项目说明，使用流程大致如下：

  1. 在 ComfyUI/models/diffusion_models/ 中放入一个扩散模型文件（BF16 或 INT8 ConvRot 二选一）。
  2. 在 ComfyUI/models/text_encoders/ 中放入一个文本编码器文件。
  3. 在 ComfyUI/models/vae/ 中放入一个视频 VAE 与一个音频 VAE。
  4. 使用支持原生 MiniMax-H3 的较新 ComfyUI 构建，并选用 MiniMax H3 Reference to Video 条件节点，同时挂载相互匹配的文本编码器、视频 VAE 与音频 VAE 组件。

README 给出的采样设置为：八步采样、guidance 1.0、视频 shift 12.0、音频 shift 3.0。项目同时提醒，ComfyUI 使用自己的模型布局、采样器与运行时内核，因此输出结果可能与 FastVideo 及 UniServe 存在差异。除 ComfyUI 之外，素材还提到 UniServe（面向 GB200/B200、RTX PRO 6000 Blackwell 与 Hopper）与 FastVideo 本地推理（面向 DGX Spark 与 RTX 5090）两条路径，各自需要匹配的权重格式，具体步骤需参照对应的部署与推理指南。

许可与限制

事实表将该仓库的许可证标记为 other，即自定义许可，具体条款以仓库中的 LICENSE 文件为准，本文不对其可否商用作出判断。据项目自述，这些权重的使用受 MiniMax-H3 Community License Agreement 约束；仓库内附带的 ComfyUI 工具链则各自保留其原有许可，位于 conversion/upstream/ 目录下。

已知限制与前置条件方面，项目说明提到：NVFP4 文本编码器的加速需要 Blackwell 硬件，其他设备应改用 BF16 或 INT8；音频 VAE 是获得同步音频输出的必要条件；不同运行时之间必须使用相互匹配的检查点格式，混用格式无法正常工作。此外，README 中提到的 FP8 权重属于 FastVideo 的另一独立变体，并不在本仓库的文件列表内。项目自述还说明 FastH3 Omni 由 FastVideo 与 Nuva Lab 合作开发，Nuva Lab 参与构建了全模态参考数据集；面向生产部署、自有数据微调与创意代理的需求，需另行参考 Nuva Lab 的相关页面。

返回