Together AI 提出 Polymorphic Inference，用 AI 代理自动优化推理
Together AI 发布博客，提出 Polymorphic Inference 概念，并推出 Together Compiler，用 AI 代理自动搜索推理优化方案，称已在部分生产端点运行。
核心事实
Together AI 于 11 月 4 日发布博客，提出「Polymorphic Inference」（多形态推理）概念，并宣布首个落地项目 Together Compiler。据该博客介绍，Together Compiler 把推理负载优化从传统编译器的翻译问题，改写为「代理式搜索」问题：由一组 AI 代理配合高保真持久化引擎反复迭代，自动寻找优化方案。Together AI 称，该工具目前已在部分最受欢迎的 serverless 端点的生产环境中运行，并在已有高度优化代码的基础上取得进一步提升。
背景与影响
博客将这一思路归因于几项行业变化：开源模型发布节奏加快、架构差异扩大、流量形态持续演变，以及从 B200 到 GB300 等硬件平台的快速更替。作者 Simran Arora 与 Dan Fu 认为，过去以静态超参数配置为核心的推理方案难以适配多样场景，而「持续编译」（Continuous Compilation）可让系统随新模型架构与流量形态自动调整。博客还提到，Together AI 每天服务数万亿 token，并援引 OpenRouter 数据称，80% 的流量流向近三个月发布的模型。
限制与来源
上述性能提升幅度、代理优化效果及生产覆盖范围均来自厂商自述，博客未给出可核验的基准数据或第三方评测，相关说法尚未获独立确认。Together Compiler 的具体可用范围、计费方式与地区支持，请以 Together AI 官网当前信息为准。本文依据其官方博客《Polymorphic Inference: self-tuning inference for open models》整理。