AB
AiBoss站
快讯

IBM 发布 Granite Switch 4.1:单一端点内切换对话、决策与语音

IBM 在 Hugging Face 博客发布 Granite Switch 4.1,将对话、通用与专用决策、语音转写三类能力组合进同一模型,据称显存占用与基础模型相当,并附带可直接使用的适配器组合。

核心事实

据 Hugging Face 博客文章,IBM 的 Granite Switch 项目发布 4.1 版本。文章称,Granite-Switch-4.1-8B 与 Granite-Switch-4.1-30B 两个模型被配置为包含三类组件:面向通用决策的新 Decision aLoRA、面向安全相关决策任务的专用 Guardian aLoRA,以及嵌入用于转写任务的 Granite-Speech-5.0-Turbo-CTC。文章称该语音模型在 OpenASR 排行榜上速度最快。三者与底层基础模型被组合进同一个模型,文章称其 GPU 显存占用与基础模型单独运行时大致相当。

背景与影响

文章介绍,Granite Switch 项目于去年春季推出,主张以模块化方式开发模型。由于 Switch 适配器以缓存高效的 Activated LoRA 形式构建,基础模型生成产生的 KV 缓存可复用于后续基于适配器的决策;文章还提到团队近期对 vLLM 的贡献用于加速低秩适配器推理,并配有同址部署的 ASR 编码器。文章称,在 Granite-Switch-4.1-30B(冻结基础 Granite 加 4 个专用 aLoRA)与 Jev-27B 的对比中,前者完成一个真实场景的五步 RAG 工作流更快。文章同时表示,用户不必使用官方版本,可自行从 Granite Libraries 中挑选适配器组合自己的 Granite Switch 模型,并计划发布用于在 Mellea 中训练适配器的 Adapter SDK。

限制与来源

上述性能与速度表述均来自 IBM 官方博客文章,本站未做独立验证;相关模型与演示的可用范围、许可条款及功能支持情况,请以 Hugging Face 模型页与官网当前信息为准。文章提到的后续细节与数据尚未发布,属于预告性质,尚未获官方确认。

来源:Hugging Face 博客