AWS 为 SageMaker HyperPod 推出数据捕获功能，构建模型改进闭环

核心事实

据 AWS 官方博客，Amazon SageMaker HyperPod 现已提供 Data Capture 能力，可将生产环境中的推理输入与输出记录到 Amazon Simple Storage Service（Amazon S3）。该功能提供三个相互独立的捕获层级，分别位于请求路径的不同位置：SageMaker 端点层、负载均衡器层（记录 Application Load Balancer 访问日志字段）以及模型 Pod 层（记录完整请求/响应载荷及事件元数据）。博客称其延迟影响很小，且不影响模型可用性，三层可在同一个 dataCapture 配置块中任意组合开启。

背景与影响

博客指出，部署在 HyperPod 上的基础模型会遇到预置数据集未覆盖的输入，例如领域术语、异常格式、新产品和变化的用户行为；若没有生产推理数据记录，团队难以发现漂移、定位失败模式，也难以用真实交互改进模型。文章以一个家电客服路由模型为例，演示了完整流程：捕获生产流量、用 Amazon Athena 查询发现新产品盲点、用 SQL 策略为捕获记录打标签、基于这些数据微调，并让新旧模型并行提供服务且保持捕获开启。文中说明该示例使用合成数据，推理与训练分别运行在一个节点上。

限制与来源

博客提醒，第 1 层与第 3 层都存储完整载荷，同时开启会导致每条记录被存两次；建议合规与 Model Monitor 用第 1 层，仅需流量元数据用第 2 层，需要利用载荷时用第 3 层。由于完整载荷可能包含姓名、地址和订单号，应在数据成为训练数据前加以保护，可采用采样、AWS KMS 加密、S3 生命周期规则以及 PII 脱敏等措施。示例环境要求由 Amazon EKS 编排的 HyperPod 集群、已安装推理算子与训练算子、两块可用 NVIDIA GPU，以及同区域的 S3 桶。本文基于 AWS 博客原文整理，具体功能、配置项与区域可用性请以 AWS 官网当前信息为准。