快讯
Together AI 携手 IBM 与 NVIDIA 扩展企业级推理算力
Together AI 宣布与 IBM、NVIDIA 合作扩展企业级 AI 推理能力,首批部署基于 IBM Cloud 的大型 NVIDIA B300 GPU 集群,并采用 NVIDIA Spectrum-X 以太网网络。
核心事实
据 Together AI 官方博客消息,该公司正在与 IBM 和 NVIDIA 合作扩展企业级 AI 推理能力。项目起步于 IBM Cloud 上的一批大型 NVIDIA B300 GPU 集群,并由 NVIDIA Spectrum-X 以太网提供网络支撑。Together AI 表示,这是 IBM Cloud 上首个此类专用大规模推理集群,该公司也是该集群的首个客户。
按照博客描述的分工:Together AI 负责运营推理层,IBM 提供云平台,NVIDIA 提供芯片与网络。三方称目标是面向持续增长的 token 需求做长期规划。
背景与影响
Together AI 在文中称,其每月服务数百兆 token、面向超过一百万开发者,并认为企业对开源模型的需求来自两点:数据主权可控,以及以低于闭源模型的成本获得前沿级性能。此次合作被其定位为把开源模型的生产级推理推向更大规模,并强调可靠性、安全性与企业所需的管控能力。
从行业角度看,这一组合把 GPU 供应、云基础设施与推理平台三层能力绑定在一起,反映出企业级推理算力正成为云厂商与芯片厂商争夺的重点方向。
限制与来源
上述内容来自 Together AI 官方博客,属于厂商自述,其中涉及的规模、性能与成本表述均未在素材中给出可独立核验的细节。集群的具体上线时间、覆盖地区、可用模型清单、定价与服务水平条款,素材中均未说明,需以相关公司官网当前信息为准。本文不构成任何投资或采购建议。