快讯
Pika 基于 MiniMax H3 开源 H3 Flex,六步实现音视频联合生成
Pika 发布基于 MiniMax H3 的衍生模型 Pika H3 Flex,开放适配器权重与推理代码,通过六步去噪联合生成画面与声音,并支持文本、首尾帧和多模态参考输入。
Pika 开源 H3 Flex:六步去噪联合生成音视频
据雷峰网报道,Pika 近日发布 MiniMax H3 的衍生模型 Pika H3 Flex,并开放适配器权重与推理代码。该模型通过六步去噪联合生成画面和声音,支持文本、首尾帧和多模态参考输入,面向镜头设计、参考生成与视频编辑等创作场景。发布内容包含两套 LoRA 适配器,分别用于文本及首尾帧条件生成、多模态参考生成,同时提供 MiniMax H3 基础组件和本地推理工具。
背景与影响
据 Pika 技术博客介绍,团队先在内部音视频数据集上对 MiniMax H3 进行监督微调,再采用投影分布匹配蒸馏(PDMD),将教师模型的 50 步去噪压缩至 6 步;随后通过奖励反馈学习和直接偏好优化训练 LoRA 适配器,适配器合并用于推理后无须增加生成步数。模型原生支持 480P、768P 输出,可生成约 5 至 15 秒的视频及同步立体声音频,并提供 ComfyUI 工作流和 Hugging Face Diffusers 接入方式。本地生成之外,Pika 通过 API 提供 1080P、2K 和 4K 视频增强及音频分轨,可将声音拆分为对白、配乐、音效、拟音和环境声五类音轨。报道称,H3 开源一个月内下载量超过 2400 万次,产生超过 300 个公开衍生模型。
限制与来源
上述性能与评测表述均来自 Pika 公布的信息,尚未获独立验证;高分辨率增强与音频分轨由 Pika API 提供,具体可用地区、额度与费用以官网当前信息为准。本文信息来源为雷峰网报道及 Pika 技术博客内容。