Together AI 发布 Together Compiler：以智能体持续编译优化推理
Together AI 推出 Together Compiler（TKCC），用编码智能体持续重写模型前向计算，随流量变化反复调优推理引擎。官方称在 InferenceX 的 AgentX 负载上最高提升 2.6 倍 TPS，但数据为自报，且目前仅限受邀测试。
核心事实
据 MarkTechPost 报道，Together AI 发布了 Together Compiler（简称 TKCC），一套由编码智能体驱动的持续编译系统，用于在生产流量变化时反复优化推理性能。系统输入为服务启动命令、流量画像与硬件配置，智能体提出更快的前向计算实现，由常驻引擎逐一测量，胜出的代码被合入服务引擎；流量特征漂移时循环重新启动。据称该编译器已在 Together 的多个无服务器端点上运行。
背景与影响
Together AI 团队称，推理流量形态并不稳定：同一模型在不同地区的提示长度差异明显，有客户的 P90 输入长度在三天内从 18K 增至 33K token；用随机数据调优的 kernel 也可能误导，随机输入激活的 MoE 专家比真实流量多 13% 至 38%。为此 TKCC 采用常驻引擎加热加载，避免每次实验重启推理框架，并设置快慢两级测量以兼顾筛选速度与保真度。官方自报在 SemiAnalysis InferenceX 的 AgentX 负载上，TPS 最高比公开最佳配置高 2.6 倍，单组设置耗时不超过 24 小时、最多使用 2 个节点；不同模型与硬件组合的提升幅度从约 4% 到 2.6 倍不等。团队还称，简单要求智能体“尽可能快”的效果优于专家知识库策略。
限制与来源
上述性能数字均为 Together AI 自报，尚未获独立验证；测试覆盖 Kimi K3、GLM 5.3、MiniMax M3.1 Flash、DeepSeek v4.1 Flash 与 Llama 1B 等模型及多种加速卡，但并非全部组合都有提升。可用性方面，据报该编译器目前仅面向 Together 客户提供有限测试，无公开权重或独立 API，具体功能与接入方式请以 Together AI 官网当前信息为准。本文信息来自 MarkTechPost 报道及其引述的 Together AI 博客与论文。