精选1个月前0 投票
思考的代价：推理努力成为模型专属API合约
在AI模型API的采购中，买家购买的不仅是模型名称，而是一份包含日期、请求模型、推理努力参数、输出约束、服务产品、提示词和价格表的合约。一项最新研究通过对比Anthropic的Sonnet 5模型在显式设置高推理努力与省略该参数时的表现，揭示了推理努力参数对成本和准确率的影响。研究发现，显式高努力合约使平均每次调用成本增加约0.01031美元，但准确率差异不显著，且成本效益反而更低。这表明推理努力参数并非简单的性能开关，而是模型供应商和用户之间的一种合约条款，其语义因模型和供应商而异。该研究强调，API买家应仔细审视推理努力参数，因为它直接影响成本和模型行为，而不仅仅是性能优化工具。
