inference-optimisation-skill - 用于本地 LLM 推理服务调优的 Agent 技能
inference-optimisation-skill 是 sybil-solutions 维护的一套 Agent 技能,用「爬坡」流程逐步提升本地 LLM 服务的解码、预填充、KV 缓存与启动速度,并附带可独立使用的测量脚本。
inference-optimisation-skill 是 sybil-solutions 维护的一套 Agent 技能(skill),目标是把本地 LLM 推理服务的速度一步步「爬坡」提上去,覆盖单用户与并发解码、投机解码、预填充、KV 缓存容量、启动时间与首 token 延迟。据项目自述,它适用于任意硬件与任意量化,工作过程受内存上限约束,且每个结果都要通过完整上下文下的稳定性检查。它面向的是已经在本地跑起 OpenAI 兼容推理服务、希望系统化调优而不是靠试参数的人:既可以是使用 Claude Code 等 Agent 的开发者,也可以是愿意手动跑脚本的运维或研究者。
维护者与状态
仓库由 sybil-solutions 维护,采用 MIT 许可证。仓库创建于 2026-11-16,最后一次提交同样在 2026-11-16,属于非常新的项目。截至 2026-11-17,仓库获得 618 个星标。目前尚无正式 release,因此没有可引用的版本号,使用时应以仓库当前代码为准。
主要能力
据项目说明,这套技能不是一份参数清单,而是一套可复用的调优流程,核心步骤如下:先计算理论性能上限,再每次只改动一个变量,然后与交错运行的控制组对比测量,记录包括失败在内的每一个结果,最后用长上下文检索做门禁,并在发布前验证一个干净、锁定版本的构建。
- 技能文档:
SKILL.md描述清单盘点、上限计算、基本规则、循环流程与杠杆顺序,以及何时停止、如何验证与发布、如何汇报。 - 参考手册:
references/目录按需加载,包含上限计算方法(解码、预填充、TTFT、启动与 KV 上限,附完整示例)、测量陷阱(按块计 token、提示长度错误、接受计数、漂移、统一内存记账)、带实测证据的杠杆清单(区分通用与特定技术栈)、vLLM / SGLang / llama.cpp / ExLlama 以及 Intel、NVIDIA、Apple、AMD 硬件上的已知坑,还有发布相关的锁定、干净构建与六项验收门禁。 - 测量脚本:
scripts/是仅依赖标准库的 Python 加 bash 工具集。bench.py可对任意 OpenAI 兼容服务做基准测试,测量启动与短提示 TTFT、单用户解码中位数、多用户聚合解码、多种长度的冷预填充、长上下文检索以及峰值内存(带内存上限看门狗),并能标记循环输出、失败请求与电池供电运行;token 数取自服务端 usage 统计而非流式分块。ceiling.py根据实测带宽、FLOPs 与组件尺寸计算理论上限。queue.sh是串行、可分离的运行队列,用于交错执行控制组与候选组。mem.sh报告容器的真实内存占用,包括 cgroups 看不到的统一内存 GPU 驱动驻留。
项目自述中还列出了若干原则:先算上限,否则无法判断 53 tok/s 是好是坏;噪声约为 ±5–10%,单次运行的「胜利」多半是漂移;测量真实 token、真实提示长度与真实内存;投机解码的关键是每步成本而非接受率;在宣称「最佳」之前必须用精确匹配的检索与并发全 KV 浸泡证明长上下文稳定;并把失败也写下来。
使用入口
仓库地址:sybil-solutions/inference-optimisation-skill。
据项目说明,在 Claude Code 中可按用户级安装:
git clone https://github.com/sybil-solutions/inference-optimisation-skill mkdir -p ~/.claude/skills cp -r inference-optimisation-skill/skills/inference-optimisation ~/.claude/skills/
安装后可直接用自然语言提出任务,例如「在 40 GiB 内存上限下为 :8000 上的模型爬坡解码与预填充」,或「这台机器上该模型的理论最大 tok/s 是多少」。其他 Agent 可以指向 skills/inference-optimisation/SKILL.md,或把 PROMPT.md 作为任务提示粘贴进去。
不使用 Agent 时也可手动运行脚本:先用 ceiling.py 配合示例 JSON 计算上限,复制示例配置到 configs/base.json 并修改 base_url 与模型名,用 bench.py run 跑一次基准,再用 queue.sh 做交错 A/B 对比,最后用 bench.py show 查看记录表。
许可与限制
许可证为 MIT。项目自述中提到的边界包括:调优过程受内存上限约束,所有结果需通过完整上下文稳定性检查;测量噪声约为 ±5–10%,因此需要交错控制组并取中位数;脚本仅依赖标准库 Python 与 bash,但基准测试对象必须是 OpenAI 兼容的推理服务。项目自述中给出的性能数字均标注了具体硬件、模型、量化与引擎,属于维护者自己的测量记录,并非通用保证。项目尚无正式 release,接口与目录结构可能随提交变化;贡献新杠杆、坑位或结果时,项目要求附上硬件、模型、量化、引擎版本、前后对比数字、测量方法与原始数据链接。