AWS 博客：在 SageMaker HyperPod 上微调 GPT-OSS-20B 多语言推理

核心事实

AWS 机器学习博客发布技术文章，介绍如何在 Amazon SageMaker HyperPod 上对开放权重推理模型 GPT-OSS-20B 进行多语言推理微调。文章称，该模型默认以英文进行思维链推理：在 50 例多语言推理测试中，基座模型仅在 22% 的样本里使用所要求的语言推理，其中英文 100%、法文 0%、德文 10%、西班牙文 0%、意大利文 0%。训练使用 HuggingFaceH4/Multilingual-Thinking 数据集（约 949 条训练样本、50 条验证样本），全部微调采用 LoRA，训练栈包括 Amazon EKS 编排、PyTorch TRL、veRL、Ray、KubeRay、vLLM 与 Amazon FSx for Lustre，节点间通信使用 EFA。

背景与影响

文章的核心结论是：监督微调（SFT）负责教会模型原本不具备的行为，而 GRPO 只在模型已有一定概率产出目标行为时才有优化空间；若目标行为在基座分布中概率接近零，GRPO 可强化的信号非常有限。作者据此建议按“能力缺口”选择技术路线，并另用 Qwen2.5-7B 做了跨两项任务的对照实验。对面向非英语用户部署推理模型的团队而言，这一差异关系到模型是否会在推理中途切回英文。

限制与来源

上述比例均为文章自述的评测结果，测试集仅 50 例，样本量有限，不能外推为普遍性能结论。文中涉及的实例规格、数据集与工具链配置以原文及对应官网当前信息为准；相关代码位于 awslabs 的 GitHub 仓库。本文仅为技术资讯整理，不构成采购或投资建议。来源：AWS 机器学习博客。