AB
AiBoss
チュートリアル

豆包大模型

チュートリアル

把豆包 Seed 2.0 接入 Claude Code 与 OpenClaw 并跑通多模态任务

豆包 Seed 2.0 的多模态理解与工具调用表现稳定,前端审美与顶级代码模型仍有差距。本文给出从火山引擎获取 API Key、在 Claude Code 中切换模型、在 OpenClaw 中新增模型配置,到跑通图像识别、视频切片与字幕转写的完整操作路径。

豆包 Seed 2.0 是字节跳动推出的新一代大模型系列,火山引擎同步提供了 API 接入。它的强项集中在多模态理解与工具调用:看图识物、视频内容理解、按主题切分视频、把无字幕视频转写成文本,这些任务在接入 Agent 框架后可以一次性完成。相对薄弱的地方是前端审美和复杂代码生成,与顶级代码模型相比仍有差距。本文面向已经具备基本 API 调用经验、希望把豆包 Seed 2.0 接进现有 Agent 工作流的开发者,讲清楚三件事:在哪里能用、怎么把 API Key 配进 Claude Code 和 OpenClaw、以及接入后能跑通哪些真实任务。如果你只是想先在网页端试一下效果,也可以参考 豆包大模型 的工具页了解入口,再决定是否走 API 路线。

准备工作

接入之前需要确认几项前置条件,缺一项后面的步骤都走不通。

  • 火山引擎账号与 API Key:豆包 Seed 2.0 的 API 由火山引擎提供,需要先在火山引擎控制台开通对应模型服务,并创建一个 API Key。这个 Key 是后续所有配置的核心凭证,形如一段长字符串,调用时放在 Authorization: Bearer 头里。
  • 模型名称:调用时需要指定模型 ID。素材中使用的模型 ID 为 doubao-seed-2-0-pro-260215,不同版本、不同规格的模型 ID 不同,实际以火山引擎控制台当前展示的模型列表为准。
  • Claude Code:如果打算在 Claude Code 里使用,需要先安装好 Claude Code 本体,并能正常启动。
  • CC Switch:这是一个用于给 Claude Code 配置第三方模型、并在多个模型之间快速切换的辅助工具,支持全平台。它的作用是省去手动改配置文件的过程。
  • OpenClaw:如果打算在 OpenClaw(社区里常称「龙虾」)里使用,需要已经完成 OpenClaw 的安装。素材中的演示场景还接入了飞书,通过飞书机器人对话来下发任务;没有接入飞书也可以直接在 OpenClaw 的对话界面操作。
  • 待处理的素材文件:多模态任务需要本地文件,例如一张香料照片、一段本地视频。视频任务建议准备好文件的绝对路径,提示词里要写清楚路径。

需要提醒的是,模型版本、可用区域、计费方式与配额都属于易变信息,开通前请以火山引擎官网当前公布的信息为准,不要照搬任何二手文章里的数字。

操作步骤

第一步:确认可用的入口

豆包 Seed 2.0 目前有几条使用路径,按门槛从低到高排列:

  • 豆包官网的「专家」模式:在网页端选择「专家」模式,背后调用的就是豆包 Seed 2.0 模型。适合先做效果验证,不需要任何配置。
  • Trae:可以在 Trae 中体验 Seed 2.0 的代码模型能力,适合评估代码场景是否满足需求。
  • 火山引擎 API:门槛最高,但自由度最大。拿到 API Key 之后,既可以配进 Claude Code,也可以配进 OpenClaw,还能自己写脚本直接调。

本文的重点是第三条路径,因为只有走 API 才能把模型嵌进自己的 Agent 工作流。

第二步:在 Claude Code 中接入豆包 Seed 2.0

推荐用 CC Switch 来完成配置,避免手写配置文件出错。操作顺序如下:

  1. 安装并启动 CC Switch。
  2. 点击界面上的「+」号新增一个模型配置。
  3. 在模型类型中选择 DoubaoSeed。
  4. 填入从火山引擎获取的 API Key。
  5. 保存配置,然后点击启用。
  6. 回到 Claude Code,此时会话使用的模型已经切换为 Doubao Seed 2.0 Code 模型。

切换完成后,可以在 Claude Code 里直接跑一个已有 Skill 验证链路是否通畅。素材中的验证方式是运行一个自己写的 Skill,用来抓取 AI 领域的 Newsletter 更新,执行结果正常,说明模型调用与工具调用都没有问题。

第三步:用 Skill Creator 创建一个多模态 Skill

Claude Code 的 Skill 机制可以把一段固定的提示词与工具调用流程封装起来,之后用斜杠命令一键触发。要处理视频类任务,建议先创建一个专门的多模态 Skill。

做法是运行 Skill Creator,并把火山引擎关于 Seed 2.0 的官方 API 文档作为参考资料一并交给它,让它在生成 Skill 时知道正确的请求格式与字段。素材中生成的 Skill 命名为 seed-multimodal。创建完成后,后续所有多模态任务都可以通过 /seed-multimodal 加提示词的方式调用。

这一步的关键在于:把 API 文档喂给 Skill Creator,而不是只写一句「帮我做个多模态 Skill」。文档里包含请求体结构、字段名、支持的输入类型,这些信息决定了 Skill 生成出来的调用代码是否正确。

第四步:调用多模态能力分析视频

Skill 就绪后,用一条提示词完成视频片段识别与裁切。素材中使用的提示词结构如下:

/seed-multimodal 分析这个视频中的所有 meme 片段,然后裁切成多个 meme 视频
【视频路径】

把【视频路径】替换成本地视频文件的绝对路径。执行后模型会识别视频中的 meme 片段,调用工具完成裁切,并新建一个文件夹存放输出结果,文件名与片段内容对应。

第五步:视频字幕转写与按主题分段

多模态模型理论上可以转写视频中的文本,实际测试也确实可行。素材中选了一段没有字幕的英文访谈视频,提示词如下:

/seed-multimodal 转录视频中人物对话为文本写入 Markdown 文件,另外按内容截取成多个片段:【本地视频路径】

执行结果是:对话内容被转写成文本并写入 Markdown 文件,同时按画面内容和主题把视频切成 5 个片段。这条流程适合做视频笔记、整理访谈素材、为剪辑准备分段文件。

第六步:在 OpenClaw 中新增豆包 Seed 2.0 配置

如果已经安装 OpenClaw 并接入了飞书,可以直接把一段 cURL 示例发给飞书机器人,让 OpenClaw 自己完成模型配置。素材中的做法是发送下面这段内容,并把 API Key 换成自己的:

我想给 openclaw 增加一个 doubao seed 2.0 pro 模型的配置支持
cURL 信息如下:

curl \
  -H "Authorization: Bearer 换成你的API" \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "doubao-seed-2-0-pro-260215",
    "input": [
      {
        "role": "user",
        "content": [
          {
            "type": "input_image",
            "image_url": "图片地址"
          },
          {
            "type": "input_text",
            "text": "你看见了什么?"
          }
        ]
      }
    ]
  }'

这段请求体展示了豆包 Seed 2.0 的多模态输入结构:input 是一个数组,每个元素包含 role 和 content;content 又是一个数组,里面按顺序放不同类型的输入项,input_image 携带图片地址,input_text 携带文本提示。图片和文本可以混排,模型会按顺序理解。

OpenClaw 收到这段描述后会自行完成配置。配置完成后,就可以在飞书对话里直接给机器人下任务。

一个完整示例

下面把前面的步骤串成一个从零到跑通的最小流程,以「识别照片中的香料并给出炖牛肉建议」为例。

目标:上传一张香料照片,让模型标出每种香料的名字,各给一句话说明用途,并针对炖牛肉场景给出使用建议。

路径选择:这条任务只需要图像理解,不需要工具调用,用 Claude Code 接入后的对话即可完成,不必写脚本。

步骤一:按第二步完成 CC Switch 配置,确认 Claude Code 当前模型为 Doubao Seed 2.0 Code。

步骤二:在 Claude Code 中附上香料照片,输入提示词:

标记出所有香料的名字,给出一句话做用介绍,我要炖牛肉用

步骤三:查看输出。识别结果会逐项列出香料名称与用途,并针对炖牛肉给出搭配建议。素材中的实测输出包含这类实用提醒:丁香不宜放多,否则可能发苦;白芷和良姜去腥解腻效果好。

步骤四(可选):如果希望同样的能力在 OpenClaw 里也能用,按第六步把 cURL 示例发给 OpenClaw,把 image_url 换成实际图片地址,text 换成上面的提示词,即可在飞书对话中复现同样的效果。

这个例子的价值在于验证链路:图片能否正确传入、模型能否正确识别、返回结果是否可直接使用。链路通了之后,再上视频切片、字幕转写这类更复杂的任务。

注意事项

能力边界要提前认清。 豆包 Seed 2.0 的多模态理解与工具调用表现稳定,但前端审美不佳,生成的页面配色和视觉设计常被评价为不好看;代码能力与顶级模型相比仍有差距。如果任务核心是复杂前端界面或高难度代码生成,需要评估是否合适。素材中引用的模型说明也明确写到,Seed 2.0 系列与国际前沿 LLM 仍存在差距。

模型 ID 不要写错。 请求体里的 model 字段必须与控制台展示的模型 ID 完全一致,素材中使用的是 doubao-seed-2-0-pro-260215。不同规格、不同版本的 ID 不同,写错会直接报错。

API Key 不要外泄。 在把 cURL 示例发给 OpenClaw 或任何对话式工具时,示例里的 Bearer 后面要替换成自己的 Key,同时注意这段内容会进入对话记录。不要把真实 Key 贴到公开渠道。

文件路径要写绝对路径。 视频切片、字幕转写这类任务依赖本地文件,提示词里的路径建议用绝对路径,避免 Agent 在错误目录下找不到文件。

Skill 生成依赖文档质量。 用 Skill Creator 创建多模态 Skill 时,把官方 API 文档一并提供,生成结果才准确。只给一句自然语言需求,容易得到字段名或请求结构错误的 Skill。

版本与计费信息以官网为准。 模型版本、可用区域、调用配额、计费单价都会变化,本文不给出具体数字。开通服务、估算成本之前,请查阅火山引擎官网当前公布的信息。

输出结果需要人工复核。 视频切片的分段依据是画面内容与主题,属于模型判断,切分点不一定符合你的剪辑意图;字幕转写的准确率也受音质、口音、专业术语影响。把结果直接用于正式发布前,建议逐段检查。