研究：为小模型定制词表可将推理成本降低77%

核心事实

据 Hugging Face 博客文章，Dharma-AI 团队提出名为 VocabX 的词表定制方法，在不更换基础模型、不改变训练数据与训练配方的前提下，围绕“每个 token 的成本”而非出现频率重建词表。团队在一套基于 Qwen3-4B 的葡萄牙语作文自动评分系统上做了对比：七个版本仅分词器不同，在同一台配备 RTX 5090 的机器、同一 vLLM 推理服务上跑同样的 500 个请求，模型平均回复从 350 个 token 降至 101 个，按实测运行时间计算的成本下降 77.0%，其“bench score”由 0.703 升至 0.810。

背景与影响

文章指出，面向单一领域微调的开源模型通常沿用通用词表，会带来两类浪费：领域内高频内容被切得很碎，以及词表中大量条目在该任务中几乎用不到。由于解码阶段受显存带宽限制，每生成一个 token 都要读取整个输出层矩阵，词表规模本身即是成本项；在该评分器中，输出层从约 15.2 万行缩减到约 6.5 万行。作者称，既有方法如 FVT、MWT 与 in-place BPE 多按频率选词、且只处理单一层面，而 VocabX 同时在子词层与多词层（宏 token）上按同一成本标准选择。文章还提到一个反直觉结果：把评分等级并入宏 token 虽更紧凑，质量反而降至 0.689，让等级单独成词后质量回升且成本更低。

限制与来源

上述数字来自作者所述、仍在评审中的论文当前版本，作者明确表示发表前可能变化，且尚未获独立验证。77% 的降幅是在特定模型、特定任务、特定硬件与批处理设置下测得，文章亦承认生成与读取的 token 成本比会随硬件、批大小、上下文长度等因素变化，不能直接外推到其他场景。词表大小、支持语言与部署可用性请以官方发布及官网当前信息为准。来源：Hugging Face 博客（huggingface.co）。