AB
AiBoss站
project

drama-3 - 面向多角色场景与长文本的新一代文本转语音模型

drama-3 是 fishaudio 发布的新一代文本转语音模型,面向多角色场景与长文本内容,支持多说话人生成、声音克隆与自然语言控制。模型采用 MoE 文本骨干与 Codebook-MTP 音频解码器,可通过说话人标签在一段文本中承载多个角色,并支持长文本自动分块与流式输出。本文整理其维护状态、主要能力、使用入口与许可限制。

drama-3 是 fishaudio 发布的新一代文本转语音(text-to-speech)模型,据项目自述,它面向多角色场景与长文本内容而设计,支持多说话人生成、声音克隆以及自然语言控制。它适合需要在一段文本里安排多个角色对白的内容创作者、需要批量生成配音的音频生产者,以及希望把语音合成接入自有服务、并关注并发与首包延迟的工程团队。模型以 Hugging Face 仓库形式分发,任务类型为 text-to-speech。

维护者与状态

该项目由 fishaudio 维护,仓库托管在 Hugging Face。仓库创建时间为 2026-10-01,最后更新时间为 2026-10-14。截至 2026-10-16 的数据读取时间,近 30 天下载量为 4048,点赞数为 480。

需要说明的是,事实表中没有给出该仓库的正式 release 信息,因此本文不对版本发布节奏作任何推断。仓库的许可证字段为 other,具体条款见下文「许可与限制」一节。

主要能力

以下能力均来自项目自述(模型卡),并非第三方评测结论:

  • 多说话人生成与说话人标签:项目说明中提到,模型支持用说话人标签在一段文本中区分不同角色,单段文本最多可承载 16 个角色。这意味着同一段脚本可以在一次生成中完成多角色对白,而不必拆成多次请求再拼接。
  • 声音克隆:模型支持基于参考音频进行声音克隆。模型卡给出的示例中,参考片段是一段约 3.9 秒的英文音频,并附带对应转写文本,请求时把参考音频路径与转写一并传入。
  • 自然语言控制与点标签:据项目说明,可以把类似「叹气」「笑」这样的点标签直接写进待合成文本中,标签所在位置即为该事件落点,从而在不额外传参的情况下控制语气与副语言事件。
  • 长文本处理:项目自述称长文本会被自动分块,并支持按块流式输出,便于边生成边播放。
  • 编辑即续写:模型卡把「编辑」描述为一种续写操作——把此前的生成结果作为上下文传入,模型在此基础上继续生成修改后的版本。示例中演示了把「周三」改为「周四」,以及在此结果上继续把「中午」改为「五点」的链式编辑。
  • 模型结构:据项目说明,模型为 35B 参数、每 token 激活 3B 的 MoE 文本骨干,采用全注意力与线性注意力混合的结构;音频侧使用 Codebook-MTP 解码器,在整个序列上以因果方式解码 10 个码本;MoE 专家权重为 FP8,其余权重为 bf16。

使用入口

模型仓库地址为 fishaudio/drama-3,权重与模型卡均在该页面。

据项目说明,drama-3 在发布首日即可运行在 SGLang-Omni 上,安装与部署方式如下(命令照素材原文):

git clone https://github.com/sgl-project/sglang-omni.git && cd sglang-omni
uv pip install --prerelease=allow -v -e ".[fishaudio]"
sgl-omni serve --model-path fishaudio/drama-3 --port 8000

调用侧走 /v1/tts 接口。据模型卡示例,一个普通请求包含待合成文本与参考音频列表,参考项由音频路径和对应转写文本组成;点标签直接写在文本中。若要做「编辑即续写」,则在请求中额外传入此前若干次生成结果作为上下文,模型据此产出修改后的版本。模型卡还提到,安装、部署与流式 API 的完整示例见其 Cookbook。

许可与限制

该仓库在事实表中的许可证字段为 other,即自定义许可,以仓库 LICENSE 为准。素材中的模型卡称其采用 Fish Audio Community License,并提示以许可文件为准。本文不对其是否可商用、可否再分发等作出判断,使用前请自行阅读仓库中的许可文件。

已知限制与前置条件方面,素材中可确认的信息包括:

  • 部署依赖 SGLang-Omni,安装命令使用了 --prerelease=allow,说明相关依赖可能处于预发布状态。
  • 模型卡给出的性能数据是在 NVIDIA H200 GPU 上、以流式请求方式、使用 Seed-TTS 英文提示测得的,采样参数为 temperature 1.0、top_p 0.9、top_k 30、max_new_tokens 500。这些数字属于项目自述的测试条件与结果,换用其他硬件、语言或参数配置时表现可能不同。
  • 模型卡提到,在 SGLang-Omni 中,流水线各阶段如何分组为进程、如何分配到 GPU 属于部署期配置,而非模型代码的一部分;其对比数据显示,把声码器放到第二块 GPU 上,在高并发下可获得更高吞吐与更低的中位首包延迟。这属于部署调优建议,实际效果取决于具体环境。
  • 声音克隆涉及参考音频与转写文本,使用时需自行确认对参考声音拥有相应权利。

本文未对模型进行实际运行验证,上述能力与性能描述均来自项目自述,请以仓库与模型卡的最新内容为准。