Together 推出 Together Compiler：面向 AI 推理的持续编译优化循环
Together AI 发布 Together Compiler（TKCC），称其可在不到 24 小时内为多种前沿开源模型带来最高 2.6 倍 TPS 提升，并已在生产环境承载数万亿 token 的推理流量。相关数据来自厂商自述，尚未获第三方独立验证。
核心事实
Together AI 在其官方博客发布文章，介绍名为 Together Compiler（简称 TKCC）的持续编译优化系统，用于 AI 推理引擎的自动化调优。据该文描述，TKCC 以流量形态、模型和硬件为输入，由多个智能体持续生成优化方案，并通过“常驻引擎”热加载候选前向计算，避免反复启停推理引擎。文章称，在不到 24 小时内，TKCC 在前沿开源模型上实现最高 2.6 倍的 TPS 提升，并在 SemiAnalysis 的 InferenceX 低延迟基准上取得 MiniMax M3.1-Flash 1111 TPS、DeepSeek v4.1-Flash 1205 TPS 的成绩；在 Llama 1B、batch size 1 场景下较现有开源 megakernel 高出 1.7 倍。文章还称其相较基线智能体优化系统实验吞吐提升 252 倍。
背景与影响
文章指出，推理负载高度动态：新模型、硬件平台、客户与流量形态构成数千种组合，人工逐一优化难以扩展。文中举例称，不同地区用户在工作时段提交的提示长度可相差 1.4 倍（97k 对 70k），新模型发布约两周后提示长度可增加 80%，突发流量还可能使缓存命中率下降。TKCC 的设计思路包括常驻引擎、快慢两级引擎以平衡测量吞吐与保真度，以及自研成本模型来选择张量并行、专家并行等并行策略。文章称该系统已用于承载数万亿 token 的推理流量，并可推广到天气建模、偏微分方程、时间序列与生物等领域。
限制与来源
上述性能数字、基准排名与吞吐提升均来自 Together AI 官方博客的自述，尚未获独立第三方验证，具体测试条件与复现方式需参阅原文。TKCC 的可用范围、接入方式、定价与地区支持情况，请以 Together AI 官网当前信息为准。本文不构成任何投资或采购建议。