## 批量写入与记录发现：Amazon SageMaker Feature Store 新 API 解析 在机器学习平台的发展中，两个常见的操作痛点一直困扰着开发者：一是高吞吐量特征管道的写入效率，二是内存存储层中记录的可发现性。近日，Amazon SageMaker Feature Store 推出两项新 API——**BatchWriteRecord** 和 **ListRecords**，旨在解决这些问题。 ### 批量写入：告别循环调用 以往，向在线存储写入特征数据需要循环调用 `PutRecord`，每条记录、每个特征组都需要一次 API 调用。以每秒处理 10,000 条记录的欺诈检测管道为例，若涉及五个特征组，则需维持每秒 50,000 次 API 调用，这无疑增加了连接开销并限制了吞吐量。 **BatchWriteRecord** API 允许用户在一次调用中跨多个特征组写入最多 25 条记录，并支持部分成功语义、每条记录的 TTL 控制，以及与 `PutRecord` 相同的基于 EventTime 的排序保证。这能显著降低 API 调用次数，提升写入效率。 ### 记录发现：让数据可被枚举 对于使用 In-Memory 存储层的团队，此前无法浏览或枚举在线存储中的记录。若因 bug 或管道故障导致记录标识符丢失，这些记录将永久不可恢复，因为没有离线存储可回退，也无法通过 Athena 查询或 API 发现。 **ListRecords** API 支持对特征组内的记录标识符进行分页枚举，适用于标准（基于 Amazon DynamoDB）和 In-Memory（基于 Redis）两种存储层。这为数据恢复和治理提供了新的可能性。 ### 快速开始 要使用这些 API，您需要拥有 AWS 账户并配置相应权限。最小 IAM 策略需包含 `sagemaker:BatchWriteRecord`、`sagemaker:PutRecord` 和 `sagemaker:ListRecords` 权限。官方博客提供了详细的代码示例，帮助您快速上手。 这两项新 API 标志着 SageMaker Feature Store 在操作效率和数据可管理性上的重要进步，对于大规模 ML 平台而言，无疑是值得关注的新工具。
迪卡侬（Decathlon），全球最大的体育用品零售商之一，在多个大洲对数万种产品进行周度需求预测。本文介绍了他们如何在AWS上部署Chronos-2，将预测准确率提升11-15个百分点，同时降低运营复杂度，并仅用CPU实例每周运行推理，成本约为0.03美元。
Salesforce 在构建 Agentforce 时，面临一个挑战：如何在使用 Amazon SageMaker AI 推理组件（IC）降低成本的同时，满足多可用区（AZ）高可用合规要求。默认的 IC 放置策略优化成本，但可能导致模型副本在 AZ 间分布不均，形成单点故障。为此，AWS 推出了 `SchedulingConfig` 参数，通过 `AvailabilityZoneBalance` 和 `PlacementStrategy` 子参数，实现跨 AZ 的负载均衡和实例级故障隔离。Salesforce 利用这一能力，在保持 8 倍成本降低的同时，满足了 2-AZ 合规要求。本文详解了这一解决方案的技术细节和实际应用。
创意团队正面临前所未有的资产生产压力，但工具碎片化和手动上下文传递却拖慢了生产节奏。据调查，**78%的创意领导者表示需求已超出团队产能**，单纯提升生成速度并不能解决根本问题。为此，媒体企业需要一套可复用的智能体（Agent）框架，以保存上下文、支持长时媒体任务，并在关键创意节点引入人工审核。 本文通过两个实战工作流——**八格故事板**和**音乐视频概念原型**——展示了如何利用 **Amazon Quick** 作为智能体工作空间与编排层，**fal** 提供生产级生成媒体能力，并通过 **Model Context Protocol（MCP）** 实现标准接口连接。该框架包含四个可复用层：Amazon Quick（代理表面与编排）、Skills（标准化工作流指令）、MCP（共享工具契约）和 fal（专用生成媒体基础设施）。 Amazon Quick 能解析创作者请求、规划任务并保留已批准决策，然后调用外部工具并展示结果供审核。创作者可将重复流程编码为 Skills，例如在生成前确认艺术方向、制作角色参考、在质量关卡暂停审批，从而复用创意流程。fal 则提供超过 **1000 个模型**，覆盖图像、视频、音频、3D 等生成任务，为创意生产提供强大动力。 这种智能体框架不仅提升了效率，更通过结构化的审核点确保了创意质量，为媒体企业提供了一条从碎片化到集成化的转型路径。
Amazon Bedrock 现已支持 OpenAI GPT-5.6 系列模型（Terra 和 Luna）在印度进行本地推理，通过印度地理跨区域推理功能，确保推理请求和数据始终留在印度境内。这对于金融服务、医疗保健和公共部门等有数据本地化处理需求的行业尤为重要。 ## 印度地理跨区域推理：兼顾性能与合规 跨区域推理是 Amazon Bedrock 的一项功能，它能够自动将推理请求路由到多个 AWS 区域，以提高吞吐量，同时无需用户自行管理每个区域的容量。印度地理跨区域推理进一步将路由范围限制在印度境内，例如孟买（ap-south-1）和海得拉巴（ap-south-2）区域。这样，用户既可以利用更大的计算池来应对流量高峰，又满足数据驻留的要求。 ## 模型能力与使用方式 GPT-5.6 Terra 和 Luna 均支持 **100 万 token** 的上下文窗口，可接受文本和图像输入，并生成文本输出。这意味着应用程序可以在单个请求中处理长文档、大型代码库以及混合文本和图像的工作负载，而处理过程不会离开印度。 用户可以通过两种推理配置文件来调用这些模型：`in.openai.gpt-5.6-terra` 和 `in.openai.gpt-5.6-luna`。从 Amazon Bedrock 控制台或通过代码使用 OpenAI Responses API、OpenAI Chat Completions API 以及 Amazon Bedrock Converse API 均可快速上手。 ## 行业影响与落地价值 对于印度本土企业而言，这一更新解决了长期以来的痛点：在利用先进 AI 模型的同时，必须遵守严格的数据主权法规。以往，他们可能不得不在模型性能和合规性之间做出妥协。现在，Amazon Bedrock 提供了两全其美的方案。 **金融、医疗、公共部门**等对数据安全要求极高的行业，可以放心地将敏感数据用于 AI 推理，而无需担心数据跨境传输带来的风险。同时，跨区域推理的容量池机制也能确保业务高峰期的稳定性能。 ## 小结 Amazon Bedrock 将 OpenAI 模型引入印度，并通过地理限制推理，为受监管行业提供了安全、合规的 AI 应用路径。随着数据驻留法规在全球范围内的收紧，这种“本地化 AI 推理”模式可能会成为未来云服务的重要趋势。
Amazon Bedrock 宣布在印度区域支持 OpenAI 的 GPT-5.6 系列模型（Terra 和 Luna），并引入印度地理跨区域推理功能。这一更新为印度本地企业提供了更灵活、合规的 AI 部署选项，尤其适用于对数据驻留有严格要求的行业。 ## 核心能力：数据驻留与跨区域推理 此次发布的关键在于 **印度地理跨区域推理**。这意味着，即使企业选择在印度某个特定区域（如孟买）使用模型，当负载增加或需要更高可用性时，Bedrock 会自动将请求路由到印度境内的其他可用区或区域，同时确保所有推理请求和数据始终保留在印度国界之内。 对于银行、医疗、政务等受数据主权法规约束的行业，这一功能解决了此前在本地使用先进大模型的合规痛点。企业无需牺牲模型性能，即可满足数据不出境的要求。 ## 模型亮点：Terra 与 Luna **GPT-5.6 系列** 包含两个模型： - **Terra**：侧重复杂推理与多步骤任务，适合代码生成、数据分析等场景。 - **Luna**：优化对话交互与创意内容生成，适合客服、内容创作等场景。 两者均支持通过 Bedrock 的统一 API 调用，可无缝集成现有应用，并利用 Bedrock 的托管服务特性（如自动扩展、监控和安全管理）。 ## 行业影响与落地场景 在印度，企业正加速采用生成式 AI，但此前常因数据本地化要求而受限。此次更新后，企业可以： - **构建本地化 AI 应用**：例如，基于 Luna 开发面向印度用户的本地语言客服机器人，数据全程留在印度。 - **大规模处理敏感数据**：金融机构可利用 Terra 进行风险评估，无需担心数据跨境问题。 - **提升响应速度**：跨区域推理可降低单点故障风险，并优化延迟。 ## 使用方式与注意事项 开发者可在 Amazon Bedrock 控制台启用 **印度跨区域推理配置文件**，选择 GPT-5.6 模型并指定区域。值得注意的是，跨区域推理可能产生额外的数据传输费用，但所有数据均留在印度境内。 目前，该功能主要在印度区域推出，其他区域的可用性需关注 AWS 官方公告。 ## 小结 Amazon Bedrock 此次更新，不仅扩展了模型选择，更通过跨区域推理强化了数据驻留能力，为印度企业扫清了合规障碍。随着生成式 AI 在金融、医疗等行业的深入，这种“本地化 + 先进模型”的模式或将成为区域云服务的标配。
自托管语音 AI 一直存在可观测性权衡：驱动容量规划和成本管理的关键数据被锁定在供应商容器内。Deepgram 通过在 Amazon SageMaker AI 上推出两项新功能，将计费、使用量和每 GPU 指标直接发布到您自己的 Amazon CloudWatch 账户中，从而弥合了这一差距。 ## 自托管语音 AI 的洞察力困境 对于运行 Deepgram 语音转文本（STT）和文本转语音（TTS）模型的企业而言，数据驻留和合规性要求往往促使他们选择在自有 AWS 账户中部署模型。然而，这种自托管模式也带来了一个长期痛点：您能轻易看到端点是否在线、处理了多少请求，但真正影响容量规划和成本管理的关键数据——例如计费详情、功能使用情况以及每个 GPU 上推理引擎的具体行为——却深藏在供应商的容器内部，无法直接获取。 ## Deepgram 的两项创新：Enhanced Metrics 与 Prometheus/OpenTelemetry 支持 Deepgram 今日宣布的两项能力，旨在彻底解决这一可观测性盲区，并已在 Deepgram SageMaker AI 部署中正式可用。 ### Deepgram Enhanced Metrics：计费与用量直达 CloudWatch 第一项能力是 **Deepgram Enhanced Metrics**。它让 Deepgram 容器直接将使用量和计费指标发布到您的 Amazon CloudWatch 账户中，无需额外代理、sidecar 或 IAM 权限。这些指标与 AWS Marketplace 计量计费使用的消耗单元完全一致，意味着您现在可以**将 AWS 账单与实际流量进行精确对账**，甚至细化到具体模型和传输方式。 ### Prometheus 和 OpenTelemetry 支持：引擎级与 GPU 级监控 第二项能力是 **Prometheus 和 OpenTelemetry 支持**。Deepgram 容器现在可以暴露引擎级的 Prometheus 指标，并支持通过 SageMaker AI 的详细可观测性功能收集每 GPU 加速器及主机指标。这些数据可以通过 CloudWatch、Grafana 或任何兼容 Prometheus 的工具进行查询（使用 PromQL），让您首次获得对推理引擎内部行为的深度可见性。 ## 这些能力如何在实际中发挥作用？ 这两项能力为 Deepgram SageMaker AI 用户带来了显著的价值提升： - **成本管理**：通过将 CloudWatch 中的指标与 AWS 账单对齐，财务团队可以更精准地分配成本，识别异常支出。 - **容量规划**：基于引擎级和 GPU 级指标，您可以根据实际负载模式优化端点规模，避免过度配置或性能瓶颈。 - **性能调优**：通过 Prometheus 指标，您可以深入了解每个 GPU 的利用率、延迟等，从而优化模型推理效率。 ## 快速上手与前提条件 要使用这些新功能，您需要将 Deepgram 模型包部署为 SageMaker AI 实时端点，并确保使用支持详细可观测性的实例类型。Deepgram 模型包在 AWS Marketplace 上提供，并支持网络隔离，确保容器无法进行外连，这满足了安全敏感型客户的需求。 启用这些功能后，您将能够通过 CloudWatch 控制台或 API 直接访问新的指标维度，无需额外配置。Deepgram 表示，这些能力已对所有 SageMaker AI 部署开放，用户可以直接使用。 ## 结语 Deepgram 的这两项创新，不仅提升了自托管语音 AI 的可观测性，更体现了其对企业用户核心痛点的深刻理解。通过将关键运营数据交还给用户，Deepgram 帮助企业在不牺牲数据控制权的前提下，实现更精细化的运营管理。对于正在使用或考虑 Deepgram SageMaker AI 的企业而言，这无疑是一个值得关注的重要更新。
大规模服务自动语音识别（ASR）模型时，如果每个请求仅使用 GPU 的一小部分，成本会非常高昂。了解如何将 NVIDIA CUDA 多进程服务（MPS）与 Amazon EC2 GPU 实例上的 NVIDIA Triton 推理服务器结合使用，将 GPU 基础设施削减 75%，同时保持每 GPU 每秒 92.1 个请求的亚秒级延迟。
AI 团队在生产环境中构建代理时，常面临一个令人沮丧的不对称性：代理框架的多样性持续增长，但评估工具却未能跟上步伐。大多数评估系统假设你以特定方式构建代理：特定的 SDK、特定的 LLM 客户端、特定的追踪模式。一旦你超出这个狭窄的兼容区，评估管道就会崩溃。团队选择 LangGraph 是因为其工作流编排模型，选择 LlamaIndex 是因为与检索管道的紧密集成，选择 OpenAI Agents SDK 是因为组织标准化于 GPT 模型。他们使用 Google ADK 进行多代理协调，或使用 Claude Agent SDK 获取原生 Anthropic 能力。他们选择 Strands Agents，因为其模型驱动的循环能在几分钟内让代理在 Amazon Bedrock AgentCore 上运行，而非数天。并且，他们越来越多地将所有这些部署在 Amazon Bedrock AgentCore 运行时上，这是 Amazon Bedrock AgentCore 的一项能力，负责托管、扩展、内存和可观测性基础设施。 Amazon Bedrock AgentCore Evaluations 通过将评估与框架选择解耦来解决这种碎片化问题。每个主要框架都支持 OpenTelemetry，无论是原生支持还是通过社区插桩库。只要代理的遥测数据通过 OpenTelemetry 流动，评估服务就能对其进行评分，无论底层使用什么 SDK。本文解释了其工作原理：服务读取哪些遥测数据，如何决定如何读取跨度，哪些属性携带评估数据，以及覆盖范围如何扩展到命名列表之外的框架。 **OpenTelemetry 作为通用语言** OpenTelemetry 是一个供应商中立的插桩框架，标准化了分布式系统如何发出追踪、指标和日志。追踪是跨度的树，每个跨度代表请求中的一个步骤：一个工作单元，包含名称、时间戳、一组类型化属性和可选跨度事件。跨度通过 OpenTelemetry 协议（OTLP）导出，并由遥测后端收集。在 AgentCore 运行时上，该后端是 AWS Distro for OpenTelemetry（ADOT），它将跨度和事件记录路由到 Amazon CloudWatch。 代理的执行会产生多种跨度，因为代理执行多种工作。单个用户回合可以为模型调用、工具调用、检索步骤等生成跨度。评估服务利用这些跨度来重建代理的行为，并根据预定义指标进行评分。 **框架无关的评估合同** 关键创新在于，评估服务不关心你使用哪个框架，只要你的代理发出 OpenTelemetry 遥测数据。它定义了如何读取跨度：它寻找特定的跨度名称、属性和事件来提取评估所需的信息，例如输入、输出、工具调用和最终响应。这种合同允许服务评估任何符合该模式的代理，无论其构建方式如何。 **覆盖范围** 虽然命名了 LangGraph、LlamaIndex、OpenAI Agents SDK、Google ADK、Claude Agent SDK 和 Strands Agents，但覆盖范围不限于此。任何支持 OpenTelemetry 的框架都可以通过社区插桩库或自定义插桩来集成。这为团队提供了灵活性，可以在不牺牲评估能力的情况下选择最适合其需求的框架。 **总结** Amazon Bedrock AgentCore Evaluations 通过解耦评估与框架选择，为代理评估提供了统一的解决方案。这解决了 AI 团队在多样化框架生态中的关键痛点，使得评估工具不再成为瓶颈。随着代理框架的不断发展，这种框架无关的评估方法将成为生产环境中的标准实践。
GoDaddy 是全球最大的域名注册商和网站托管公司之一，服务超过 2000 万客户，管理约 8200 万个域名。在如此规模下，及时获取业务数据直接影响公司的响应速度。然而，GoDaddy 的分析基础设施曾面临严峻挑战：数千个仪表板、不断攀升的基础设施成本，以及用户等待单个报告加载超过 15 分钟的性能瓶颈。为此，GoDaddy 决定从传统 BI 工具迁移到 Amazon Quick，历时两年，实现了全面转型：每年节省 15,000 小时、仪表板数量减少 50%、渲染时间缩短至 5 秒以内，并且让 AI 驱动的自助分析覆盖所有员工。 ## 挑战：BI 基础设施成为瓶颈 到 2020 年代初，GoDaddy 的 BI 环境已反映了快速增长的数据驱动型组织的自然演变。公司构建了超过 5,000 个仪表板，这证明了分析已深度融入业务。但规模也带来了熟悉的挑战：仪表板渲染时间可能超过 15 分钟，数据量增长导致运营和许可成本增加。GoDaddy 采用集中式 BI 团队模式，为营销、财务、产品和客户体验部门提供服务。团队交付了高质量工作，但需求始终超过容量，使得真正的自助分析难以实现规模化。领导层意识到，与其继续增加仪表板，不如寻求根本性变革。 ## 转型：从传统 BI 到 Amazon Quick GoDaddy 的分析团队分享了他们的迁移历程，包括架构决策、文化转变和自动化能力。关键成果包括： - **渲染时间**：从 15 分钟降至 5 秒以内。 - **仪表板数量**：减少 50%，聚焦关键指标。 - **员工效率**：每年节省 15,000 小时，员工转向更高价值的工作。 - **AI 赋能**：通过自定义代理和自动化流程，数据驱动决策成为全公司常态。 GoDaddy 高级业务分析经理 Jake Minette 表示：“迁移到 Amazon Quick 后，仪表板渲染从 15 分钟降至 5 秒内。但更大的胜利是文化层面的：借助自定义代理和自动化流程，数据驱动决策成为 GoDaddy 的常态，而不仅仅是分析师的特权。我们的团队每年节省超过 15,000 小时，并转向更高价值的工作。” ## 架构与文化：转型的关键 这次转型不仅是技术升级，更是文化变革。GoDaddy 通过以下方式实现： - **架构决策**：采用 Amazon Quick 的现代架构，优化数据管道和查询性能。 - **自动化**：利用自定义代理和自动化流程，减少人工干预，提高效率。 - **文化转变**：推动自助分析普及，让非技术员工也能利用 AI 工具进行数据探索。 GoDaddy 的案例表明，当企业将 AI 融入分析流程，并配合文化转型，能释放巨大潜力。 ## 小结 GoDaddy 的转型为大型企业提供了可借鉴的路径：通过现代化 BI 工具和 AI 能力，不仅解决性能瓶颈，还能重塑决策文化。对于面临类似挑战的企业，关键在于平衡技术升级与组织变革，让数据真正成为每个人的工具。
Natera 利用 Amazon Bedrock AgentCore 构建了自动化语音代理，让患者通过自然对话预约上门抽血服务。该系统采用双 WebSocket 桥接、事件驱动延迟掩蔽和渐进信任认证等架构，在 500 次端到端模拟测试中实现了 100% 的工具调用准确率和低于 7 秒的感知延迟，每次通话成本不到 0.01 美元。本文深入解析其架构设计与决策过程，并探讨了从 Amazon ECS 迁移至 Bedrock AgentCore 的实践。
## 从框架绑定到自由选择：SageMaker SDK v3 脚本模式重塑自带模型体验 2021 年，AWS 曾发布关于 SageMaker 脚本模式的博客，展示了如何在 AWS 托管框架容器上使用自定义训练和推理代码。彼时，脚本模式让开发者无需构建和维护 Docker 镜像即可运行自己的算法，堪称一大进步。如今，SageMaker Python SDK v3 从零开始重新设计，让这一工作流更加顺畅。 **核心变化：统一类与运行时注入** v3 SDK 用统一的 `ModelTrainer`（用于训练）和 `ModelBuilder`（用于部署）取代了旧的框架特定估算器类（如 `SKLearn`、`PyTorch`、`XGBoost`）。最关键的创新是 `SourceCode` 配置对象：它允许你将本地源代码目录同步到运行时训练作业中，而无需重建容器镜像。这意味着： - **迭代更快**：修改训练脚本后直接重新运行，无需重建容器。 - **完全控制容器**：可在镜像中安装系统包或 CUDA 库，SDK 不假设镜像内容。 - **多框架统一 API**：无论是 scikit-learn、PyTorch、Stable Diffusion 还是自定义 C++ 推理二进制，接口都一致。 **两个端到端示例** 博客提供了两个完整示例，展示 v3 脚本模式的实际应用： 1. **scikit-learn 随机森林**：经典表格 ML 工作流，在糖尿病数据集上训练，并使用 Deep Java Library (DJL) Serving 部署到实时端点。 2. **Stable Diffusion 3.5 LoRA 微调**：生成式 AI 工作流，使用 Hugging Face Accelerate 进行多 GPU 分布式训练。 两个示例都使用相同的两个核心类：`ModelTrainer` 和 `ModelBuilder`。`SourceCode` 对象接受 `source_dir`（本地代码目录路径）和 `command`（训练）或 `entry_script`（推理）。作业启动时，SageMaker 将该目录同步到容器中，代码在容器内运行。 **对 AI 开发者的意义** 这一更新降低了自带模型的门槛，尤其适合需要快速迭代或使用非标准框架的团队。无需每次调整代码都构建镜像，节省时间和精力。同时，统一的 API 简化了多框架项目的维护。对于生成式 AI 的微调任务，如 Stable Diffusion，脚本模式与多 GPU 分布式训练的结合也变得更加直接。 如果你正在使用 SageMaker 进行自定义模型训练，v3 的脚本模式值得一试。更多细节和代码示例，可参考 AWS 官方博客。
在上一篇文章中，我们讨论了监督微调（SFT）数据准备的基础知识。现在，我们进入更高级的领域，探讨如何通过数据策略提升模型微调效果。本文作为系列的第二部分，将聚焦于四个关键方面：评估数据就绪度、选择高价值数据子集、使用合成数据增强，以及混合数据源以防止灾难性遗忘。 ## 用学习曲线评估数据就绪度 在投入大量资源进行数据标注前，先评估现有数据的质量与分布至关重要。**学习曲线**是一种直观的工具，通过绘制训练集大小与模型性能的关系，可以判断数据是否足够。如果曲线在增加数据量后性能提升缓慢，说明数据可能已接近饱和，继续添加类似数据收益有限；反之，若曲线仍呈上升趋势，则表明数据不足，需要扩充。 此外，**数据多样性**也是关键。单一来源的数据可能导致模型过拟合，而多样化的数据则能提升泛化能力。实践中，可以通过聚类分析或嵌入可视化来检查数据分布，确保覆盖目标任务的各个维度。 ## 挑选高价值子集：质量重于数量 并非所有数据都同等重要。**数据筛选**可以显著提升微调效率。常见策略包括： - **难度筛选**：优先选择模型当前表现不佳的样本，这类样本往往能提供更大的梯度更新，加速学习。 - **多样性筛选**：基于嵌入相似度去重，保留代表不同模式的样本，避免冗余。 - **不确定性采样**：利用模型对样本的预测置信度，选择高不确定性的样本进行标注，常用于主动学习。 这些方法能帮助你在有限预算下，最大化数据效用。 ## 合成数据与蒸馏：数据增强的捷径 当真实数据稀缺或标注成本高昂时，**合成数据**成为有力补充。通过大模型生成类似任务的样本，或使用**知识蒸馏**将教师模型的知识迁移到学生模型，都可以扩充训练集。例如，对于对话任务，可以使用强大模型生成对话，再人工审核修正。 但合成数据需谨慎使用，避免引入噪声或偏差。建议将合成数据与真实数据混合，并监控模型在验证集上的表现，以防过度依赖合成数据导致性能下降。 ## 混合数据源，防止灾难性遗忘 在微调过程中，模型可能因过度适应新数据而遗忘原有能力，即**灾难性遗忘**。解决之道在于**数据混合**：在训练集中保留一部分通用数据或旧任务数据，与新数据混合训练。例如，在指令微调时，按比例混合通用指令与领域特定指令，既能提升新任务表现，又保持模型原有的通用能力。 **经验法则**：新数据与旧数据的比例通常控制在 1:1 到 1:10 之间，具体需根据任务相似度和数据量调整。 ## 小结 高级数据策略的核心是**系统性评估与主动设计**。通过学习曲线判断数据瓶颈，利用筛选聚焦高价值样本，借助合成数据突破数据瓶颈，并以混合策略维护模型稳定性，可以显著提升监督微调的效果。实际应用中，这些策略往往组合使用，需要根据具体任务和数据资源灵活调整。 （本文基于 AWS 机器学习博客系列内容整理，更多细节可参考原文。）
数据准备决定了监督微调（SFT）项目的上限。本文是系列文章的第一篇，将深入探讨SFT数据准备的基础：质量检查、对话式（JSONL）格式化、推理与工具调用模式，以及具有代表性的训练/评估划分。 ## 为什么需要SFT？ 在评估基础模型（FM）后，如果开箱即用的性能无法满足生产需求，比如模型不能可靠遵循输出模式、难以处理领域分类体系，或无法保持应用所需的语调，那么定制化就是必然选择。 ## 定制化的三种方式 后训练定制化提供三种不同的杠杆，分别解决模型当前能力与需求之间的差距： - **继续预训练（CPT）**：摄入大规模非结构化领域文本，扩展模型知识库。适用于模型缺乏领域术语、概念或数据模式的情况。 - **监督微调（SFT）**：基于精选的输入-输出对训练，重塑模型行为。SFT教会模型如何响应：遵循指令、遵守模式、采用特定语气或生成结构化输出。它不注入新知识，而是让模型以所需方式应用已有知识，这有时被称为“表面对齐假说”。 - **强化微调（RFT）**：通过奖励信号而非显式演示来优化行为。适用于可以编程评估输出质量但难以大规模演示推理路径的场景。 这些技术并非互斥。生产模式通常是CPT、SFT、RFT的组合：先扩展知识，再塑造行为，最后通过反馈优化。实践中，CPT使用较少，仅当基础模型缺乏关键领域词汇或知识时才需要。像Amazon Nova这样的基础模型已在广泛语料上预训练，因此通常SFT后接RFT就足够了。 ## SFT数据准备基础 本文作为系列的第一篇，涵盖SFT数据准备的基础：质量检查、格式化要求、训练/评估划分。我们使用Amazon Bedrock文档中的代码片段说明关键概念，同时保持指导对任何模型都适用。 - **质量检查**：确保数据准确、无噪声，并覆盖所需行为。 - **格式化**：采用对话式JSONL格式，明确区分用户、助手和系统消息，并支持推理和工具调用模式。 - **训练/评估划分**：创建代表性划分，确保评估集能反映真实分布。 ## 小结 数据准备是SFT成功的关键。通过严格的质量控制、正确的格式化和合理的划分，你可以为模型定制奠定坚实基础。下一篇将探讨高级策略，如就绪评估、数据子集选择与过滤、数据增强等。
在企业级 AI 应用中，多账户架构常被用来划分工作负载边界，但跨账户数据访问往往成为集成痛点。近期，AWS 发布了一篇技术博客，详细介绍了如何让 Amazon Bedrock AgentCore 智能体在无需复制源数据的情况下，从另一个账户的 Amazon Redshift Serverless 知识库中获取答案。该方案基于 Amazon Bedrock Knowledge Bases 的跨账户资源策略，并提供了两种编排模型：基于代码的 Strands 代理和声明式 AgentCore 工具。 ## 核心挑战 许多组织使用 Amazon Bedrock 构建 AI 代理，同时将结构化数据存储在 Amazon Redshift Serverless 中。出于安全与合规考虑，这些数据账户往往与 AI 代理账户分离。虽然 Bedrock Knowledge Bases 支持跨账户的 `Retrieve` 和 `GetDocumentContent` 操作，但**不支持 `RetrieveAndGenerate`**，而后者恰恰是生成自然语言答案的关键。 为此，方案设计了一个**窄权限的 IAM 角色**，由代理在调用 API 前通过 AWS STS 临时承担该角色，从而在不复制数据的前提下，实现跨账户的检索增强生成。 ## 两种实现方式 方案提供了两种部署方式，均采用相同的数据访问边界： - **Strands 代理（基于代码）**：将 Strands 代理部署到 AgentCore 运行时，适合需要精细控制代理逻辑的开发团队。 - **声明式 AgentCore 工具**：通过声明式配置实现，降低了开发门槛，适合快速部署与维护。 两种方式都遵循最小权限原则，确保代理仅能访问必要的知识库数据。 ## 架构与安全边界 架构上，代理账户与数据账户通过 IAM 角色信任关系建立安全通道。代理先通过 STS 假设数据账户中的专用角色，再调用 `RetrieveAndGenerate` API。这一设计既保持了账户隔离，又避免了源数据的复制，符合企业级安全合规要求。 ## 实践价值 该方案为多账户架构下的 AI 代理提供了可复用的集成范式。对于需要严格数据隔离的行业（如金融、医疗），这一模式尤为重要。开发者可以参考 GitHub 上的示例代码，快速在自身环境中复现。 > 提示：文中提到的两种编排模型均已正式可用（GA），企业可根据自身技术栈选择合适的方式。
Amazon OpenSearch Service now supports MCP Apps, which return interactive visualizations alongside your AI agent's text responses. Learn how a single, locally run MCP server lets your agent move from alert to trace to logs to root cause in one conversation, and how you can verify every step inline without leaving your IDE.
Build a governed weekly reporting workflow with Amazon Quick Desktop and Amazon FSx for NetApp ONTAP. An Amazon S3 access point exposes an approved folder to a Quick knowledge base, and a custom skill drafts cited weekly reports and Slack summaries with human review before anything is shared.
Amazon SageMaker HyperPod now offers managed Ray support on Amazon EKS. Create and monitor Ray clusters, connect JupyterLab and Code Editor notebooks to live clusters, get out-of-the-box observability, and run resilient distributed training and accelerated inference from SageMaker Studio, all with open-source KubeRay and standard Ray APIs.
Democratizing institutional knowledge: Building an AI-powered knowledge management system with AWS
新上线Learn how to build a customizable, smart-caching knowledge management system on AWS that captures and delivers institutional (tribal) knowledge through a voice-first AI avatar. The accelerator uses Amazon Bedrock Knowledge Bases for retrieval-augmented generation and deploys in hours with AWS CloudFormation.
AWS Agent Registry gives your organization a centralized, searchable catalog for agents, tools, and skills. It works with the open Agentic Resource Discovery (ARD) standard to enable cross-environment discovery and governance at scale.