精选今天0 投票
格式敏感性指数：LLM评测中提示包装器的Token控制鲁棒性与模式合规性研究
研究背景：提示格式竟能颠覆排行榜结论？
大语言模型（LLM）评测中，一个容易被忽视的变量——提示词包装器（prompt wrapper）的格式差异，可能对模型得分产生显著影响，甚至足以改变排行榜排名。arXiv上最新发布的论文《Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking》系统研究了这一现象，并提出了两个新的量化指标：格式敏感性指数（FSI） 和可解析性敏感性指数（PSI）。
核心发现：格式差异导致评分波动超30倍
研究团队基于14万次OpenRouter生成任务，覆盖7个问答任务、5种包装器家族以及4种指令模型（参数量从7B到72B），发现不同模型的平均FSI差异高达30倍以上。换言之，某些模型对提示格式极其敏感，包装器的微小调整就能引发准确率的大幅波动；而另一些模型则相对稳定。这种波动主要源于合规性失败——模型未能按照预期格式输出可解析的答案。
关键指标：FSI与PSI
- FSI（格式敏感性指数）：衡量因包装器选择导致的准确率变化范围。
- PSI（可解析性敏感性指数）：衡量答案可解析性的对应变化范围。
通过固定效应回归分析，研究者发现：即使控制任务、模型和包装器变量，可解析性仍是准确率的强预测因子。这意味着，如果模型输出格式混乱、难以解析，其准确率必然大打折扣。
对评测实践的启示
目前主流LLM评测往往只报告单一准确率，忽略了包装器带来的方差。该研究指出，这种报告方式在统计上是脆弱的——不同包装器下的分数差异可能掩盖模型的真实能力。为此，作者提出建议：
- 在基准测试中，应报告包装器方差，而非单一分数。
- 对于结构化输出场景（如JSON模式），格式合规性必须作为关键指标纳入评估。
行业意义：评测标准化迫在眉睫
随着LLM能力竞赛进入白热化，评测方法的一致性变得至关重要。本研究揭示的“格式敏感”现象提醒业界：提示工程不仅关乎模型调用，更直接影响评测信度。未来，评测平台和榜单可能需要引入类似FSI/PSI的指标，以提供更全面的能力画像。