E³-Agent：面向边缘生成式推理的可执行与进化式资源管理智能体
随着生成式AI模型在边缘设备上的部署日益普及，资源管理面临两大现实挑战：部署时难以预知每个设备上每个模型的性能，且性能会因用户驱动的语义事件、后台负载和设备变动而动态变化。传统的离线调优资源管理器在这种非平稳环境下变得脆弱且维护成本高昂。为此，研究者提出了 E³-Agent，一种可执行且可进化的智能体，专门用于边缘AIGC（人工智能生成内容）的资源管理。
架构设计：快慢路径分离
E³-Agent的核心创新在于将快速路径路由器与慢路径大语言模型元控制器分离。快速路径路由器负责毫秒级的调度决策，确保低延迟；而慢路径LLM元控制器则通过事件驱动的方式，在检测到环境变化（如语义偏移、设备增减、负载变化）时，通过工具接口暴露的小型显式控制面进行干预，包括风险门控、路由器配置和快速性能校准。这种设计既保证了实时性，又具备了应对非平稳性的灵活性。
在线学习与持续适应
E³-Agent能够从执行反馈中在线学习，不断适应未知且时变的服务时间映射。这意味着它无需预先了解每个设备-模型组合的性能，而是通过实际运行数据自我调整。这种进化能力使其在动态环境中始终保持高效。
实验验证：显著降低延迟
研究团队在基于MLPerf设备模型测量先验的离散事件模拟器上评估了E³-Agent，覆盖了冷启动预热以及三种动态场景：语义动态（用户请求分布变化）、设备变动（设备上线/下线）和隐藏漂移（后台负载等未观测因素变化）。结果显示，与最佳静态基线相比，E³-Agent在动态场景下将平均延迟降低了65%到73%，且与用于评估的在线全信息Oracle相比，性能差距仅为7%到10%。此外，在语义退化场景下，E³-Agent有效抑制了卡顿率。
行业意义与展望
边缘生成式推理的资源管理一直是部署中的痛点。E³-Agent通过将LLM作为元控制器，实现了对传统调度策略的智能化增强，为边缘AI的落地提供了一种低成本、高适应性的解决方案。未来，这种快慢路径分离与在线学习的范式有望被推广到更广泛的资源调度领域。