校准优先：智能温室强化学习控制的奖励组件审计框架
强化学习（RL）在智能温室气候控制中展现出巨大潜力，能够以远超传统作物实验的速度和规模测试新策略。然而，仅依赖单一的模拟器奖励值远远不够——种植者或控制工程师还需要知道策略何时执行加热、增施CO₂、通风、调节湿度、启用遮阳幕或使用补光灯等具体操作。为此，来自中国的研究团队提出了一种可复现的校准优先奖励审计框架，旨在让温室控制中不同奖励组件在多个场景下保持可比性。
该框架基于GreenLight-Gym模拟环境，将标量奖励分解为温度、CO₂、湿度、蒸气压亏缺（VPD）、遮阳幕以及执行代理等条件化组件。通过将GreenLight模拟器适配至第二届自主温室挑战赛（Autonomous Greenhouse Challenge）的实际气候轨迹，并在真实温室日志数据上对相同组件进行评分，框架实现了从仿真训练到设施部署、从竞赛记录到规则蒸馏的全链路一致性评估。
为何需要奖励审计？
在温室RL控制中，奖励函数通常由多个子目标加权求和构成，例如维持适宜温度、控制湿度、节约能源等。但不同子目标的量纲和分布差异巨大，直接求和可能导致策略偏向某个单一目标（如过度追求节能而牺牲作物生长）。此外，仿真环境与真实温室之间存在模拟偏差，使得在仿真中表现良好的策略在实际部署时可能失效。
该框架的核心创新在于校准优先：首先通过GreenLight模拟器对奖励组件进行校准，确保各组件在不同条件下的数值具有可比性；然后将其应用于真实温室日志数据，量化仿真与现实的差距。这种方法不仅提升了策略的可解释性，还为温室控制工程师提供了调试和优化奖励函数的明确方向。
框架的关键能力
- 组件分解：将标量奖励拆解为温度、CO₂、湿度、VPD、遮阳幕和执行代理等独立组件，便于分析每个因素对总体奖励的贡献。
- 跨场景一致性：支持在模拟训练、设施适应性回放、竞赛日志和规则蒸馏四种场景下对相同组件进行评分，确保评估标准统一。
- 可复现性：框架基于开源工具GreenLight-Gym构建，所有代码和配置均可复现，有助于学术社区验证和扩展。
行业意义
智能温室是精准农业的关键场景，RL控制有望大幅提升资源利用效率和作物产量。但当前研究多聚焦于算法性能提升，忽略了奖励函数设计的可解释性和可靠性。该工作填补了这一空白，为温室RL控制提供了工程化的审计工具。未来，类似的校准优先方法或可推广至其他物理控制领域（如数据中心冷却、建筑能效管理），成为RL落地的标准实践。
论文发表于arXiv，共28页，包含8张图表，详细介绍了框架的设计、实验设置和验证结果。