AB
AiBoss
チュートリアル

ElevenLabs

チュートリアル

ElevenLabs 快速上手:从账号准备到第一次语音合成

ElevenLabs 提供文本转语音、语音转文本、声音克隆、对话式智能体与生成式音频等能力。本文梳理它的四种使用入口、声音与模型等核心概念,并给出从注册、取密钥到调用文本转语音接口的完整步骤与注意事项。

ElevenLabs 提供的是 AI 语音基础设施,覆盖文本转语音、语音转文本、声音克隆、对话式智能体以及生成式音频等能力。它并不是单一产品,而是按使用人群分成四个入口:面向创作者、制作人和剪辑师的无代码网页应用 ElevenCreative;用于设计和运营对话式语音智能体的 ElevenAgents;把全部能力以 REST 接口暴露出来的 ElevenAPI,并配有官方 Python 与 TypeScript SDK;以及面向中小企业的现成 AI 电话接待员 Reception AI。如果你打算把语音能力嵌进自己的应用或工作流,起点就是 ElevenAPI。本站的 ElevenLabs 工具页可以作为入口参考。

这篇教程面向第一次接触 ElevenLabs 的开发者,目标是把前置条件、核心概念、调用步骤和常见限制讲清楚,让你能独立跑通一次文本转语音请求,并知道接下来该往哪个方向扩展。

准备工作

账号与订阅

使用 ElevenLabs 需要先注册账号。免费额度可以让你完成初步验证,但部分能力有订阅门槛,例如音乐生成在 Starter 及以上套餐才提供商用授权。具体套餐划分、价格与额度以官网当前信息为准,不要依赖第三方转述的数字。

API 密钥

调用 ElevenAPI 需要 API 密钥。密钥在账号后台的 API Keys 区域创建和管理。工作区层面还涉及成员、计费组、服务账号、域名验证、SSO(Microsoft Entra SAML、Okta SAML)、SCIM、资源共享、用户组、模型审批和审计日志等管理项,团队协作时这些配置会直接影响谁能用哪些模型。

SDK 与运行环境

官方提供 Python 和 TypeScript 两个 SDK。你也可以直接用任意 HTTP 客户端调用 REST 接口。选择 SDK 的好处是请求体结构和流式响应处理已经封装好,减少手写出错。

先想清楚用哪个入口

  • ElevenCreative:不写代码,在浏览器里直接生成配音、音乐、配音译制和工作室项目。
  • ElevenAgents:设计并运营对话式语音智能体,非技术用户可用可视化搭建器,开发者可以完全编程控制。
  • ElevenAPI:把每一项能力作为 REST 接口调用,适合嵌入自有应用。
  • Reception AI:开箱即用的 AI 电话接待员,接听来电、预约并处理日常事务。

操作步骤

第一步:理解三个核心概念

在动手之前,先把三个概念弄清楚,后面所有操作都围绕它们展开。

声音(Voices)是音频生成时使用的语音人格。每个声音有唯一 ID,例如 JBFqnCBsd6RMkjVDRZzb。你可以在控制台里选择,也可以在 API 请求里直接传这个 ID。平台维护着一个超过 10,000 个声音的库,此外还支持从一段录音克隆声音,或者用一段文字描述生成声音。

模型(Models)决定生成音频的质量、延迟和语言覆盖范围。文本转语音、语音转文本、音乐、音效等每类能力都有各自专用的模型,不要指望一个模型通吃。

额度(Credits)是所有产品共用的消费单位。文本转语音按输入文本的字符数计费,一个字符一个额度;其他操作按处理的音频秒数计费。额度每月重置,未用完的部分最多可以结转两个月。

第二步:按需求挑选模型

文本转语音是使用频率最高的能力,可选模型如下。

模型定位语言字符上限
Eleven v4表现力最强、质量最高的语音合成模型,声音克隆能力出色,支持自然的多说话人对话90+ 种10,000
Eleven v4 Turbo面向实时场景,中位推理延迟约 100ms,保留 v4 的表现力并针对延迟调优90+ 种—
Eleven v3情感丰富、适合戏剧化演绎,支持多说话人对话70+ 种5,000
Eleven v3 Conversational低延迟版本,约 280ms,面向实时对话70+ 种—
Eleven Multilingual v2音色自然、质量稳定,长文本生成最稳29 种10,000
Eleven Flash v2.5速度快、成本低,约 75ms,API 生成单价更低32 种40,000

语音识别方向有 Scribe v2、Scribe v2 Realtime 和 Scribe v2 Medical。Scribe v2 支持 90 多种语言,具备关键术语提示(最多 1000 个词)、实体检测(65 种实体类型)、用自然语言指令编辑转写结果、精确到词的时间戳、最多 32 个说话人的分离、动态音频标签和智能语言检测。Scribe v2 Realtime 面向实时转写,延迟约 150ms。Scribe v2 Medical 针对临床音频微调,在临床音频上的转写错误比 Scribe v2 少 35%,日常语音的准确率与 Scribe v2 持平,功能、语言、价格和 API 也一致。

其他能力包括音乐生成、文本转对话、图像与视频生成、变声、人声分离、配音、音效、声音克隆与设计、声音重混、强制对齐,以及把语音接入任意应用的 Speech Engine。私有部署方案允许在自己的云环境中运行 ElevenLabs。

第三步:发起第一次文本转语音请求

确定模型和声音 ID 之后,就可以构造请求。核心参数是文本内容、模型标识和声音 ID。模型标识使用上表中的名称,例如 eleven_v4、eleven_v4_turbo、eleven_v3、eleven_multilingual_v2、eleven_flash_v2_5。声音 ID 从控制台复制,或从声音库中选取。

请求通过 HTTP 头发送 API 密钥完成鉴权,请求体包含文本与模型参数,响应返回音频数据。使用官方 Python 或 TypeScript SDK 时,这一步被封装成一次方法调用,你只需要传入文本、声音 ID 和模型名。

第四步:处理返回结果

文本转语音返回的是音频内容,可以直接写入文件或流式转发给前端。注意字符上限是按模型区分的:v4 和 Multilingual v2 是 10,000 字符,v3 是 5,000 字符,Flash v2.5 是 40,000 字符。超长文本需要先切分再分段合成,否则请求会被拒绝。

第五步:按需扩展到其他能力

跑通文本转语音之后,其他能力的使用方式类似:选定对应模型,构造请求,处理返回。语音转文本按音频小时计费,音乐、音效、变声、人声分离、配音按音频分钟计费。Speech Engine 按分钟计费,它把语音模型组合成一条低延迟的智能体流水线,适合给聊天智能体加上语音。

一个完整示例

下面是一个最小可运行流程,从零到拿到音频文件。

  1. 注册 ElevenLabs 账号并登录控制台。
  2. 在 API Keys 区域创建一个 API 密钥,妥善保存,它只显示一次。
  3. 在声音库中挑选一个声音,复制它的声音 ID,例如 JBFqnCBsd6RMkjVDRZzb。
  4. 确定使用哪个模型。追求表现力选 eleven_v4;追求实时响应选 eleven_v4_turbo;长文本且要求稳定选 eleven_multilingual_v2;追求低成本和低延迟选 eleven_flash_v2_5。
  5. 准备待合成的文本,确认长度不超过所选模型的字符上限。
  6. 用官方 SDK 或 HTTP 客户端发起请求,在请求头中带上 API 密钥,在请求体中传入文本、模型标识和声音 ID。
  7. 把返回的音频数据写入文件,播放验证效果。
  8. 在控制台的用量页面核对本次消耗的额度,确认计费方式符合预期。

如果这一步失败,优先检查三件事:API 密钥是否有效、声音 ID 是否存在于当前工作区、文本长度是否超过模型上限。

注意事项

  • 额度按字符或秒计费,容易低估。文本转语音按输入字符数扣费,一个字符一个额度;其他操作按音频秒数扣费。长文本批量合成前先估算消耗。
  • 额度会重置也会结转。额度每月重置,未用完的部分最多结转两个月,过期作废。
  • 字符上限因模型而异。v3 只有 5,000 字符,v4 和 Multilingual v2 是 10,000,Flash v2.5 是 40,000。跨模型迁移代码时这一点最容易踩坑。
  • 延迟数字不含应用与网络开销。官方给出的中位推理延迟(v4 Turbo 约 100ms、Flash v2.5 约 75ms、v3 Conversational 约 280ms、Scribe v2 Realtime 约 150ms)都排除了应用层和网络传输时间,实际端到端延迟会更高。
  • 商用授权与套餐挂钩。音乐生成的商用授权在 Starter 及以上套餐提供,免费或低档套餐不包含。具体以官网当前信息为准。
  • 医疗场景有额外合规要求。Scribe v2 Medical 具备 HIPAA 适用资格,提供 BAA 和零保留模式,普通模型不具备这些条件。
  • 团队协作涉及权限配置。成员、计费组、服务账号、用户组、模型审批、审计日志等管理项会影响谁能调用哪些模型,多人协作前先理清。
  • 价格与功能随时可能调整。本文涉及的价格、额度、模型能力和地区可用性均以官网当前信息为准。