新上线今天0 投票
LLM生成故障场景：评估自动驾驶边缘系统的感知车道跟随能力
边缘AI安全测试的新范式：LLM生成故障场景
在自动驾驶领域，将视觉系统部署到边缘设备（如车载计算单元）面临一个核心挑战：资源限制使得无法实时、可预测地执行全面的安全测试。传统的验证方法依赖静态数据集或手动故障注入，难以捕捉真实世界部署中遇到的各种环境风险。
现有方法的局限性
当前，大多数自动驾驶系统的安全验证基于静态数据集（如KITTI、nuScenes）或手动故障注入。这些方法存在明显缺陷：
- 静态数据集覆盖的场景有限，无法穷尽所有可能的故障模式
- 手动故障注入耗时费力，且难以系统化地生成多样化的故障场景
- 边缘设备计算资源有限，无法在运行时运行复杂的AI模型进行实时故障模拟
解耦的离线-在线故障注入框架
为了解决这些问题，研究人员提出了一种解耦的离线-在线故障注入框架。该架构将验证过程分为两个独立阶段：
1. 离线阶段（计算密集型）
- 使用大型语言模型（LLMs） 语义生成结构化故障场景
- 利用潜在扩散模型（LDMs） 合成高保真传感器退化（如雾、雨、雪、眩光等）
- 将这些复杂的故障动态“蒸馏”成预计算的查找表
2. 在线阶段（轻量级）
- 边缘设备直接使用预计算的查找表进行实时故障感知推理
- 无需在本地运行重型AI模型，极大降低了计算开销
- 实现了在资源受限环境下的高效安全测试
实验验证与结果
研究团队在一个ResNet18车道跟随模型上对该框架进行了广泛验证，测试了460个故障场景。结果揭示了传统评估方法的不足：
- 在干净数据上，模型达到约0.85的R²基线（表示预测与实际值的拟合程度）
- 生成的故障暴露了显著的鲁棒性退化：
- 均方根误差（RMSE） 增加了高达99%
- 在雾条件下，0.10范围内的定位精度下降至仅31.0%
这些数据表明，仅基于正常数据的评估对于真实世界的边缘AI部署是远远不够的。
技术意义与行业影响
这项研究为自动驾驶边缘系统的安全验证提供了新思路：
1. 生成式AI在安全测试中的应用拓展
- LLMs不仅用于内容生成，还能语义理解并创建复杂的故障场景
- LDMs能够合成逼真的传感器退化，弥补了真实数据收集的不足
2. 边缘计算与AI安全的结合
- 通过离线预处理将计算负担转移到云端或高性能服务器
- 边缘设备只需进行轻量级推理，平衡了安全性与实时性要求
3. 对自动驾驶行业的意义
- 为资源受限的边缘设备提供了可行的安全测试方案
- 有助于发现传统测试方法遗漏的潜在风险
- 推动更安全、更可靠的自动驾驶系统部署
未来展望
虽然该框架在车道跟随任务上展示了潜力，但仍有扩展空间：
- 可应用于更复杂的自动驾驶任务（如目标检测、路径规划）
- 需要进一步研究故障场景的覆盖完备性
- 如何将生成的故障场景与真实世界数据有效结合仍需探索
随着边缘AI和自动驾驶技术的快速发展，这种基于生成式AI的安全测试方法有望成为行业标准实践的重要组成部分，为更安全的智能交通系统奠定基础。