project
AudioX-Turbo - Noiz AI 联合清华推出的音频生成框架
AudioX-Turbo 是 Noiz AI 联合香港科技大学、清华大学推出的统一高效音频生成框架，支持文本、视频、音频任意组合输入生成高质量音效与音乐。
AudioX-Turbo是什么
AudioX-Turbo 是 Noiz AI 联合香港科技大学、清华大学推出的统一高效音频生成框架，支持文本、视频、音频任意组合输入生成高质量音效与音乐。模型基于 2.7B 参数的多模态扩散 Transformer架构，通过分布匹配蒸馏与对抗蒸馏将推理步数从 50–200 步压缩至 4 步，在单张 RTX 4090 上生成 10 秒音频仅需 0.24 秒。团队构建了约 920 万样本的强指令数据集 IF-caps-Pro，首次实现精确时间戳控制。
AudioX-Turbo的主要功能
- 文本转音频（T2A）：根据纯文本提示生成环境音、动作音效等，支持精确描述声音类型、风格与场景。
- 文本转音乐（T2M）：依据文字指令生成指定风格、乐器配置、节奏与情绪的音乐片段，支持复杂乐理描述。
- 视频转音频（V2A）：为无声视频自动配音与拟音（Foley），根据画面内容实时匹配动作音效与环境音。
- 视频转音乐（V2M）：分析视频情绪、节奏与画面动态，自动生成同步配乐，支持多种音乐风格。
- 文本+视频联合生成（TV2A / TV2M）：结合视频画面与文本指令进行精准控制，例如指定”第3秒出现雷声，第5秒加入吉他”，实现时间戳级精确音效/音乐生成。
- 音频补全与修复 ：基于上下文音频片段进行补全、修复或风格迁移，支持音频内容的智能续写与降噪。
- 图像转音频（零样本）：无需针对图像进行专门训练，可根据静态图片内容推断并生成对应的环境音或场景音效。
微信关注回复 “开源”，加入AI开源项目交流群
AudioX-Turbo的技术原理
- 多模态扩散 Transformer 架构：模型采用 2.7B 参数的多模态扩散 Transformer，基于 Flow Matching 框架构建。文本通过 T5 编码器提取语义特征，视频经 Synchformer 提取时序视觉表征，音频由 VAE 压缩为隐空间表征，三种模态经统一投影后输入共享 Transformer 进行交叉注意力融合，实现文本、视频、音频任意组合条件下的联合生成。
- 分布匹配蒸馏与对抗蒸馏：为将教师模型 50–200 步的采样过程压缩至 4 步，团队采用两阶段蒸馏策略：首先通过分布匹配蒸馏（DMD）训练学生模型逼近教师模型的流场分布，使单步预测即可匹配多步结果；随后引入扩散判别器进行对抗蒸馏，在 4 步约束下进一步细化音频细节，学生模型部分客观指标甚至反超教师模型。
- 强指令数据集 IF-caps-Pro：团队构建了约 920 万样本的 IF-caps-Pro 数据集，核心创新在于结构化标注：每条数据附带精确时间戳、事件数量、乐器类型及出现顺序等元信息。这使模型不仅能理解”吉他+鼓点”的静态组合，还能精确执行”先蝉鸣 3 秒、第 5 秒加入吉他、第 8 秒淡出”等复杂时序指令，显著提升了可控生成能力。
- 三阶段渐进训练策略：训练分为三个阶段：第一阶段在纯文本-音频数据上预训练，建立基础声学理解；第二阶段引入视频数据扩展至多模态联合生成，学习音画同步关系；第三阶段执行蒸馏加速，将多步模型压缩为 4 步极速版本。该渐进策略确保模型在压缩推理成本的同时不损失多模态理解能力。
如何使用AudioX-Turbo
- 环境配置：克隆 GitHub 仓库并创建 Python 3.8 环境，安装 FFmpeg、libsndfile 及 requirements.txt 中的依赖包。
- 权重下载：从 Hugging Face 或 GitHub Release 下载 AudioX-Turbo 4 步学生模型、VAE 及 Synchformer 视频编码器的预训练权重。
- 启动推理：运行
python run_gradio.py启动本地 Web 界面，或直接调用 Python API 加载模型与分词器。 - 参数设置：根据任务类型设置
video_path、text_prompt、audio_path等输入参数，模型支持文本、视频、音频的任意组合输入。 - 生成音频：执行前向推理，4 步采样即可生成 10 秒高质量音频，在 RTX 4090 上耗时约 0.24 秒。
AudioX-Turbo的核心优势
- 极速推理：4 步采样即可匹配教师模型 100 步音质，NFE 减少约 25 倍，实现近实时生成。
- 统一多模态：单一模型支持文本、视频、音频任意组合输入，无需为不同任务单独训练专家模型。
- 精准指令跟随：920 万带时间戳、事件数量、乐器标注的结构化数据，使模型能精确理解”先蝉鸣后吉他”等复杂时序指令。
- 高质量蒸馏：基于 Flow Matching 的分布匹配蒸馏（DMD）配合扩散判别器，学生模型部分指标反超教师模型。
AudioX-Turbo的项目地址
- GitHub仓库：https://github.com/NoizAI/AudioX-Turbo
- HuggingFace模型库：https://huggingface.co/HKUSTAudio/AudioX-Turbo
- arXiv技术论文：https://arxiv.org/pdf/2606.12555
AudioX-Turbo的同类竞品对比
| 维度 | AudioX-Turbo | MMAudio |
|---|---|---|
| 开发团队 | Noiz AI × 香港科技大学 × 清华大学 | Sony AI 相关团队 |
| 模型参数 | 2.7B（MMDiT） | 157M（多模态 Transformer） |
| 基础架构 | 多模态扩散 Transformer（Flow Matching） | 多模态 Transformer + 流匹配（Flow Matching） |
| 推理步数 | 4 步（蒸馏压缩） | 默认 25 步（可配置 1–50 步） |
| 生成速度 | RTX 4090 上 10 秒音频仅需 0.24 秒 | 生成 8 秒音频约 1.23 秒 |
| 支持模态 | 文本/视频/音频 任意组合（T2A、T2M、V2A、V2M、TV2A、TV2M、音频补全、图像零样本） | 视频/文本/图像 转音频（V2A、T2A、I2A） |
| 统一模型 | 是（单一模型覆盖所有任务） | 是（单一模型多模态联合训练） |
| 时间戳控制 | 强（精确到秒级事件顺序、数量、乐器标注） | 中等（依赖同步模块对齐音画） |
| 指令数据集 | 自研 IF-caps-Pro（约 920 万样本，带时间戳/事件数量/乐器标注） | 大规模音视频数据集（含噪声较多） |
AudioX-Turbo的应用场景
-
互动剧与游戏实时配音：4 步极速推理支持游戏引擎实时拟音与动态配乐。
-
影视后期 Foley 制作：根据无声视频自动生成精准环境音与动作音效，降低人工拟音成本。
-
AI 直播与虚拟主播：实时根据画面与弹幕文本生成伴奏或互动音效。
-
音乐创作辅助：通过文本描述快速生成参考音乐片段，支持视频情绪同步配乐。
-
有声内容自动化：结合时间戳精确控制音频事件顺序，适用于播客、广播剧场景。