Amazon SageMaker HyperPod 推出企业级推理增强：数据捕获、Hugging Face 集成、NVMe 加速及 Route 53 域名管理
随着企业生成式 AI 工作负载的规模化，对更快、更可观测、更灵活的推理基础设施的需求持续增长。Amazon SageMaker HyperPod 推出了一系列新功能，旨在简化组织在生产环境中部署和运营大模型的方式。
核心能力一览
1. 多层次推理数据捕获
团队现在可以在推理路径的多个节点记录输入和输出数据：从端点、负载均衡器，到模型 Pod 本身。通过声明式自定义资源定义（CRD）配置，提供深度可观测性和审计能力。这意味着你可以独立控制每一层的数据捕获开关，灵活选择适合业务场景的可见性深度。数据最终存储在 Amazon S3 中，用于模型监控、调试和模型改进。
2. 直接从 Hugging Face Hub 部署模型
无需提前将模型权重预置到对象或文件存储中，即可直接从热门社区 Hub 部署模型。新功能内置了对门控访问（gated access）、版本锁定（revision pinning） 和令牌隔离（token isolation） 的支持，覆盖 vLLM、TGI、SGLang 等主流推理运行时。这大幅简化了模型部署流程，让团队可以更快地将最新模型投入生产。
3. NVMe 本地加载加速冷启动
从节点本地 NVMe 存储加载模型权重，显著减少冷启动延迟。同时，当本地存储不可用时，系统会自动回退到云端存储，确保高可用性。对于需要频繁扩缩容或处理大模型的场景，这一改进能带来可观的性能提升。
4. 自动 Route 53 DNS 管理
HyperPod 现在可以自动管理自定义域名的 DNS 记录。你只需指定域名，系统自动完成 DNS 配置，省去手动设置和运维的麻烦。
5. Pod 级 IAM 权限控制
通过自定义服务账户（Custom Service Accounts），基础设施团队可以为每个 Pod 分配细粒度的 AWS Identity and Access Management（IAM）权限。这强化了安全边界，使得多租户场景下的权限隔离更加精准。
企业级推理的新标杆
这些增强功能共同构成了一个更高效、更安全、更易于管理的推理平台。无论是需要审计日志的金融行业，还是追求快速迭代的 AI 初创公司，都能从中受益。团队可以在不牺牲治理和运营可见性的前提下，更快地交付 AI 应用。
SageMaker HyperPod 的此次更新，标志着 AWS 在推理基础设施上向企业级需求迈出了重要一步——从模型部署到运行监控，再到安全合规，形成了一个完整的闭环。
