新上线2天前58 投票
Show HN：测试LLM确定输出的新基准——结构化输出基准（SOB）
在构建依赖大语言模型的工作流时，我们经常使用结构化输出来处理程序化用例，例如将发票转换为数据行、将会议记录转换为工单，甚至将复杂PDF转换为数据库条目。模型可能返回你想要的模式，但其中包含幻觉值，比如不存在的发票编号或日期。
什么是结构化输出基准（SOB）？
结构化输出基准（Structured Output Benchmark, SOB） 是一个专门用于测试大语言模型在结构化输出任务中确定性和准确性的新基准。它由一组精心设计的测试案例组成，涵盖了常见的结构化输出场景，包括数据提取、格式转换和数据库条目生成等。
为什么需要SOB？
当前主流基准（如MMLU、HumanEval）主要评估模型的推理和编码能力，但很少关注结构化输出中的幻觉问题。在实际应用中，即使模型输出了正确的JSON结构，其中的字段值也可能完全错误。SOB填补了这一空白，通过量化模型在真实业务场景中的可靠性，帮助开发者选择最适合的模型。
SOB的核心特性
- 多领域覆盖：测试用例来自金融、医疗、法律等领域，模拟真实世界的复杂数据。
- 确定性评估：对每个输入，要求模型输出唯一且正确的结构化结果，避免模糊性。
- 幻觉检测：专门设计对抗性案例，检查模型是否会生成不存在的字段或值。
初步结果与行业影响
早期测试表明，不同模型在SOB上的表现差异显著。一些在通用任务上表现优异的模型，在结构化输出中反而出现较高的幻觉率。这提示开发者：通用能力不等于结构化可靠性。SOB有望成为AI工程化领域的标准测试工具，推动模型在可落地的程序化场景中持续改进。
目前SOB项目已开源，开发者可以将其集成到自己的评估流水线中。随着AI应用从聊天机器人转向企业级自动化，这样的基准将越来越重要。
