精选今天0 投票
用CVaR约束即时成本：让在线POMDP规划既规避风险又保留性能保证
在线POMDP规划器通常以期望累积成本为目标，但当信念分布在高成本状态上集中了较大概率质量时，期望值会掩盖潜在的危险状态。现有的风险规避方法多把静态或动态的条件风险价值（CVaR）施加在值函数上，以捕捉轨迹级风险，但普遍存在两个缺口：一是即时成本仍以状态相关成本在信念上的期望形式保留，信念内部的风险未被处理；二是通过修改值函数来实现风险敏感，往往需要专门设计新算法，无法复用已有的基于期望的规划器。
针对这两点，Yaacov Pariente 与 Vadim Indelman 在论文《Risk-Averse Online POMDP Planning via CVaR of the Immediate Cost with Performance Guarantees》中提出另一种思路：不改变值函数，而是对每一步的即时成本在信念上应用CVaR，直接针对当前状态的不确定性。
核心做法
- 保留标准期望累积回报作为目标，因此问题仍具有标准MDP结构。
- 任何基于期望的POMDP规划器，只需改动成本计算方式，即可获得风险敏感能力，无需重写算法。
- 在风险中性极限下，该形式化会退化为标准的期望规划。
理论保证
作者继承了策略评估与稀疏采样的有限时间保证，并指出估计误差与风险水平无关。其中心理论结果是：证明了粒子信念MDP代理与原始POMDP之间差距的有限时间界，二者结合可给出从真实POMDP值到算法估计的端到端保证。
这项工作为在线POMDP规划提供了一种“即插即用”的风险敏感方案：既直面信念内部的不确定性，又不必牺牲现有规划器的性能保证，对安全关键场景下的决策规划具有潜在价值。