黑暗中问路：不确定性门控的LLM辅助如何在部分可观测环境中发挥作用
强化学习智能体在部分可观测环境下必须基于不完整信息做出决策，这使其天然适合从具备广泛推理先验的小型语言模型（SLM）中获取指导。然而，将SLM的指导融入此类设定一直困难重重——在所有测试环境中，传统的基于不确定性门控的方法的覆盖率（即SLM独立决策的比例）几乎为零。
最新发表于arXiv的论文《ASK in the Dark: Uncertainty-Gated LLM Assistance under Partial Observability》深入剖析了这一失败原因。研究者认为，问题并非出在模型能力不足，而在于上下文缺失：裸自我中心的提示（bare egocentric prompt）无法为SLM提供真正的推理所需的情境。为此，他们提出**ASK+**方法，为SLM提供轨迹感知上下文（包括部分揭示的地图、已访问位置和动作历史）以及结构化思维链推理，从而将SLM从被动的冗余检查转变为能偶尔纠正策略的“信息顾问”。
实验结果表明，ASK+在多个基准环境中取得了显著提升：在DoorKey任务中，成功率从PPO和原始ASK的89%提升至93%；在FourRooms任务中，成功率从53%跃升至70%；在HigherLower任务中，准确率达到73.7%，与仅使用SLM的上限持平。值得注意的是，在所有环境中，Qwen3.5-2B的表现均达到或超过了规模更大的Qwen3.5-4B，这充分说明提示设计和选择性门控对模型规模的影响更为关键，从而无需依赖大模型即可实现有效指导。
此外，研究还澄清了一个关键理论问题：用于选择性查询的预测熵信号衡量的是动作不确定性而非状态不确定性，并且在部分可观测马尔可夫决策过程（POMDP）中依然保持信息量，这使得不确定性门控辅助能够适用于完全可观测设定之外的更广泛场景。
该工作已被IJCAI-ECAI联合研讨会接收，为在部分可观测环境中高效利用小型语言模型提供了新的思路——通过精心设计的上下文提示和不确定性门控机制，小模型也能成为强化学习智能体在“黑暗中”的可靠向导。