vLLM Semantic Router 发布 Decision 3.0 开源决策模型系列

核心事实

据 MarkTechPost 报道，vLLM Semantic Router 团队发布了 Decision 3.0，一组多模态决策模型。该系列共 5 个规模：d3-lite（0.85B）、d3-nano（2.21B）、d3-mini（4.54B）、d3-flash（8.39B）与 d3（26.09B），全部以 Apache-2.0 许可开放。模型可读取文本、JSON 与图像，并针对命名问题返回概率而非生成文本；每个问题可以是 Choice、Yes/No 或量表上的 Score，模型在一次调用中回答全部问题。团队称这一模式面向路由器与护栏场景，开发者可直接对返回的分数设定阈值，而无需解析模型生成的文本。

背景与影响

据素材，每个模型都是 Qwen 基座的微调版本：27B 的 d3 基于 Qwen3.8-27B，其余四个基于 0.8B、2B、4B、9B 的 Qwen3.5 检查点。各规模均带视觉编码器，请求可接受多张 PNG、JPEG 或 WebP 图像，每张最高读取 1.6 百万像素。安装目标为 transformers==5.17.0，可选 flash-linear-attention 包用于加速线性注意力层，加载需 trust_remote_code=True。性能方面，团队在模型卡中给出内部评测：文本榜 d3 得 64.1，视觉榜得 71.6；d3-flash（9B）得 59.0，高于上一代 Decision 2.0 的 27B（55.9）。素材同时指出，Torchcast Decision 27B 在公开套件上的分数更高（65.1 对 64.9），且 d3-lite 与 d3-nano 并未在所有榜单领先。延迟中位数在单张 AMD Instinct MI325X 上测得，文本为 21.7 至 84 毫秒，带图像为 60.7 至 342 毫秒。

限制与来源

需注意，上述分数为团队内部评测结果，素材称其与实时榜单数据对比；上下文长度未披露，也未列出官方量化版本。素材提到模型无托管 API，需自行部署，具体可用性、依赖版本与许可条款请以官网及模型卡当前信息为准。本文信息来自 MarkTechPost 的报道，相关细节尚未获独立确认。