观点：每个“真实基准”都是人为构建，而非客观真理
在机器学习模型的训练与评估中，真实基准（Ground Truth）数据集一直被视为“黄金标准”。然而，一篇即将发表在 ICML 2026 上的立场论文尖锐指出：这些基准并非中立的客观测量结果，而是由人类与技术共同构建的产物。
由 Charlotte Högberg、Ericka Johnson 和 Kiri L. Wagstaff 合著的论文《Position: Every Ground Truth is a Human Construction, not an Objective Truth》认为，ML 社区长期忽视了基准数据集背后的主观选择与情境依赖。例如，标注者的偏见、采集设备的局限、分类体系的取舍，都会在数据集中嵌入隐性假设。论文呼吁业界公开讨论这些“看不见的选择”，并承认参考数据集是有条件的、非普适的。
核心论点：从“客观真理”到“情境可靠性”
作者提出，与其追求虚幻的“客观真理”，不如转向**“情境可靠性”（Situated Reliability）**——即明确说明模型及其“真理主张”的适用边界。具体而言：
- 透明性：记录标注指南、数据来源、预处理步骤等构建细节；
- 问责制：承认构建者的主观性及其对模型行为的影响；
- 跨学科协作：引入社会学、人类学视角，理解数据的社会技术属性。
为什么这对 AI 行业至关重要？
当前，大模型和自动驾驶等高风险应用高度依赖基准测试。若基准本身存在系统性偏差（如 ImageNet 中某些类别标注的种族倾向），模型可能放大这些偏见。论文强调：“更可靠”不等于“更客观”，而是更清晰地界定模型在何时、何地、对谁有效。
例如，一个在特定摄像头参数下训练的医学影像模型，若未说明其训练基准的采集设备条件，部署到不同医院时可能失效。通过公开基准的构建情境，开发者能更好地预测模型的迁移表现。
行业影响与展望
该论文呼应了近年来对“负责任 AI”的讨论，但将焦点从模型本身转向了数据根基。若其观点被广泛采纳，未来 ML 论文可能需要额外提供**“基准构建说明书”**，类似数据集的“营养标签”。这或许会增加初期工作负担，但长期看能减少因基准误导导致的资源浪费。
作者最后指出，承认基准的人为性并非否定其价值，而是让科学实践更诚实。正如论文所写：“真理是创造的，而非发现的——但这不意味着它没有用。”