什么是音视频联合生成（Joint Audio-Video Generation）？
音视频联合生成指在同一次生成过程中同时产出语义与时间上相互对齐的视频与音频。它要解决的是单模态模型各自生成后再拼接所导致的对齐偏差问题。两篇 arXiv 论文分别从数据集、架构训练、两阶段流水线与实时推理加速等角度讨论了这一方向。
音视频联合生成（Joint Audio-Video Generation）指在同一次生成过程中同时产出视频画面与配套音频，并使两者在语义与时间上相互对齐的生成建模任务。它要解决的问题是：分别训练的视频生成模型与音频生成模型各自都能产出高质量结果，但把两条独立流水线的输出拼在一起时，声音与画面往往在事件发生的时间点、语义内容上对不上。
为什么重要
在音视频联合生成被作为独立问题提出之前，多模态生成的主流做法是单模态分别合成。arXiv:2603.16093 的摘要即指出，多模态生成模型在单模态的视频合成与音频合成上已取得显著进展，但真正意义上的联合音视频生成仍是一个开放挑战。这种分离式做法的痛点集中在两处：一是对齐，画面里出现的动作、乐器、说话口型与音频中的声音事件需要共享同一套语义与时间结构，而两条独立流水线之间没有机制保证这一点；二是评测与复现，缺少成对的高质量音视频数据，研究者难以在同一基准上比较不同方法。
当目标从「离线生成一段短片」转向「实时、可交互地生成」时，问题会更突出。arXiv:2610.10343 的摘要描述了部署联合音视频扩散 Transformer（diffusion transformer）用于实时交互生成时通常需要的两项改造：块自回归注意力（block-autoregressive attention），使帧可以在整段视频完成之前就输出；以及少步采样（few-step sampling），使每个块的生成代价足够低。这两项能力如何同时获得，直接决定了系统能否实时运行。
工作机制
从这两篇论文的描述看，音视频联合生成的实现路径可以归纳为以下几类做法。
成对数据与从零训练的联合架构
arXiv:2603.16093 的作者 Alejandro Paredes La Torre 发布了两份高质量成对音视频数据集：13 小时电子游戏片段与 64 小时音乐会演出，每份都被切分为一致的 34 秒样本，以便可复现研究。作者在这些数据上从零训练了 MM-Diffusion 架构，并定量评估了模型在快速动作与音乐线索上的对齐表现。这一路线的核心是让同一个模型在训练中同时见到画面与声音，从而在表示层面学到跨模态对应关系。
联合隐空间扩散
同一篇论文还研究了联合隐空间扩散（joint latent diffusion）：借助预训练的视频与音频编码器—解码器，在隐空间中进行联合建模。该论文报告称，这一路线暴露出多模态解码阶段的一些挑战与不一致性。也就是说，复用现成的单模态编解码器并不自动带来良好的联合解码。
顺序两阶段流水线
该论文提出的另一方案是顺序两步的文生音视频流水线：先生成视频，再以视频输出与原始提示词两者为条件合成时间上同步的音频。作者称实验显示这种模块化方法能得到高保真的音视频生成结果。与联合建模相比，它把跨模态对齐的压力集中到第二阶段的条件生成上。
并行适配器组合实现实时生成
arXiv:2610.10343 的作者 Jingyu Li、Xiaoxiao Xiang、Yiwen Guo 关注的是推理效率。摘要指出，流式视频文献通常用链式流水线获得上述两项能力：先把双向教师模型蒸馏为因果学生模型，再蒸馏为少步模型，或按相反顺序进行；每一阶段都在前一阶段产出的权重上微调，因此后一个目标可能抹掉前一个阶段已获得的能力。该论文借鉴模型合并（model merging）的思路，提出在打包的音视频骨干网络上并行获取这两种能力：针对冻结的骨干训练一个因果适配器，另用一个现成的少步适配器提供少步能力。作者预测并验证了两者的权重更新方向近似正交，且训练中未施加显式正交约束；由于正交更新可以无干扰地组合，并行组合即为直和，推理时只需把两个适配器相加，无需联合训练。摘要称，与链式基线相比，组合模型在多数指标上持平或更优；所得流式系统在 480×832 分辨率、无量化条件下实时生成约 26 fps，并可维持 30 秒连续生成且画质稳定。
典型例子
- 电子游戏片段与音乐会演出数据集：arXiv:2603.16093 发布的 13 小时游戏片段与 64 小时音乐会演出，统一切分为 34 秒样本，用于训练与评测联合生成模型。
- MM-Diffusion 从零训练：该论文在同一批数据上从零训练该架构，并在快速动作与音乐线索两类场景上做定量对齐评估。
- 先生成视频、再条件生成音频的两步流水线：以视频输出与原始提示词共同作为音频合成的条件。
- 因果适配器与少步适配器的并行相加：arXiv:2610.10343 给出的实时流式音视频系统，在 480×832 下约 26 fps，连续生成 30 秒。
边界与常见误解
首先，音视频联合生成不等于「视频模型加音频模型」。arXiv:2603.16093 的联合隐空间扩散实验表明，直接复用预训练的视频与音频编码器—解码器会在多模态解码阶段出现挑战与不一致，说明拼接式方案的对齐能力有限。其次，联合建模并不必然优于模块化方案：该论文报告的结论是，其顺序两步流水线在实验中取得了高保真结果，这提示「必须端到端联合训练」并非唯一可行路径。
再次，实时性不是联合生成的自然属性。arXiv:2610.10343 指出，实时交互生成需要块自回归注意力与少步采样两项改造，而链式蒸馏存在后一目标覆盖前一能力的风险；该论文提出的并行适配器组合是一种应对方式，其「权重更新近似正交」的判断来自作者自己的预测与验证，并非该领域的普遍结论。此外，摘要中给出的约 26 fps、30 秒连续生成等数字均为该论文在特定设置下的报告值，不能外推为一般性能水平。
最后，两篇论文的评测规模都有限：一篇基于作者自建的两份数据集，另一篇以与链式基线的对比为主。它们提供的是方法与观察，而非已经确立的行业标准。