SheepNav
新上线今天0 投票

Amazon Bedrock 上线 OpenAI GPT-5.6 系列模型,并引入显式提示缓存功能

OpenAI 最新 GPT-5.6 系列模型——Sol、Terra 和 Luna——现已正式在 Amazon Bedrock 上可用。此次发布不仅带来了三个能力层级的新模型,还引入了一项关键新特性:显式提示缓存(Explicit Prompt Caching),让开发者能够精确控制提示中哪些部分被缓存和复用,从而大幅降低推理成本。

模型家族概览

GPT-5.6 系列覆盖从高复杂度推理到高吞吐量任务的不同场景:

  • GPT-5.6 Sol:专为最复杂的推理和智能体编码工作设计,适合需要深度思考的场景。
  • GPT-5.6 Terra:面向日常生产工作负载,在能力与成本间取得平衡。
  • GPT-5.6 Luna:针对分类、摘要等高速、高并发任务优化,追求低延迟。

显式提示缓存:成本优化利器

与传统的隐式缓存不同,显式提示缓存赋予开发者精确控制权:你可以指定提示中的系统指令、工具定义、参考文档等重复性内容进行缓存,并在后续请求中复用。缓存后的输入享有 90% 的折扣(详见 Amazon Bedrock 定价页面),且缓存有效期为 30 分钟

这一特性在智能体工作流中价值尤为突出。例如,当同一组系统指令和工具定义在数十次 API 调用中反复出现时,显式缓存可将这些固定部分的成本降至原来的十分之一,同时保持响应质量不变。

快速上手

GPT-5.6 模型通过 Amazon Bedrock 的 bedrock-mantle 端点提供,兼容 OpenAI 的 Responses API。推荐使用 AWS 短期令牌进行认证,避免长期密钥泄露风险。

from openai import OpenAI
from aws_bedrock_token_generator import provide_token

REGION = "us-east-2"
client = OpenAI(
    base_url=f"https://bedrock-mantle.{REGION}.api.aws/openai/v1",
    api_key=provide_token(region=REGION)
)

隐式缓存 vs 显式缓存

Bedrock 此前已支持隐式缓存,但显式缓存提供了更细粒度的控制:

  • 隐式缓存:由系统自动判断并缓存重复内容,开发者无需干预。
  • 显式缓存:开发者通过 API 参数明确标记缓存部分,确保关键内容被缓存,避免非必要内容占用缓存空间。

对于需要确定性成本的场景(如计费审计),显式缓存是更优选择。

迁移现有工作负载

如果你已在 Amazon Bedrock 或其他平台上使用旧版 GPT 模型,迁移到 GPT-5.6 只需调整模型名称和端点地址。显式缓存功能可与现有代码无缝集成,只需在提示中添加缓存控制标记即可。

行业意义

随着 AI 应用从实验走向生产,成本控制成为关键瓶颈。OpenAI 与 AWS 此次合作,通过显式缓存将推理成本降低一个数量级,同时保持 AWS 的安全治理优势。对于构建复杂智能体、多步骤推理或高并发服务的团队而言,这无疑是提升性价比的重要一步。

如需了解完整定价和区域可用性,请参阅 Amazon Bedrock 官方文档。

延伸阅读

  1. 孤独AI穿戴设备Friend回归:新增语音功能,价格翻倍
  2. Chrome 或将支持免重启更新,速度大幅提升
  3. AI助力Chrome漏洞修复数量激增:Google称6月修复量超过过去两年总和
查看原文