新上线今天0 投票
AgentCore 网关新增速率限制功能，精细管控 AI 流量
Amazon Bedrock AgentCore 网关现已支持速率限制，提供对 AI 流量的精细控制。该功能允许管理员基于用户或目标设置请求、令牌和连接限制，以保护下游模型、工具和代理免受流量高峰的影响。
速率限制的核心能力
AgentCore 网关作为完全托管的无服务器 AI 网关，统一管理对多种工具的访问，包括托管网络搜索、知识库、MCP 服务器、推理模型（LLM）、代理（A2A、工具代理等）以及 HTTP 端点。新增的速率限制功能支持三种目标类型：MCP 目标、推理目标和 HTTP 透传目标，并提供以下指标：
- 请求速率限制（RPS/RPM）：适用于所有目标类型，限制在给定时间窗口内的最大请求数。每个请求，无论执行时间长短，都计为一次单位。
- 令牌速率限制（TPM）：仅适用于推理目标，同时计入输入和输出令牌。网关使用通用分词器预估输入令牌，并在请求前从限额中扣除，响应返回后根据实际令牌消耗进行校准。
- 连接速率限制（CPS）：适用于所有目标类型，跟踪请求持有开放连接的时间，有效管理长连接场景。
基于身份的限流策略
速率限制规则可通过 OAuth 或 IAM 身份进行定义，支持按 JWT 声明或 IAM 身份进行作用域划分。这意味着管理员可以为每个用户或用户组设置独立的限制，确保公平使用资源，防止个别用户过度占用导致服务不可用。
行业意义与落地价值
随着生成式 AI 应用的普及，企业面临流量管理的新挑战。AgentCore 网关的速率限制功能为 AI 基础设施提供了类似传统 API 网关的流量控制能力，但专为 AI 负载设计，考虑了令牌消耗和流式连接等特性。这有助于：
- 保障服务质量：防止流量高峰导致下游模型或工具过载，维持响应速度。
- 成本控制：通过限制令牌消耗，避免因突发请求产生高额推理费用。
- 安全合规：基于身份的限制增强了访问控制，满足企业安全策略。
目前，该功能已正式可用，开发者可以在 AWS 管理控制台或通过 API 配置限流规则。对于依赖多个 AI 服务的企业，AgentCore 网关的集中式管理简化了运维，提升了整体稳定性。
