SkillConsist：双向图对齐检测Agent技能中的不一致性
随着大语言模型（LLM）智能体的广泛应用，Agent技能（Agent Skills）作为可复用的能力模块，其一致性问题日益凸显。技能的不一致可能隐藏未声明的危险行为，或导致智能体选择错误的技能，从而引发安全风险。然而，现有的一致性检测方法多依赖预定义类别或声明范围，难以应对声明与实现之间复杂的对应关系。为此，研究者提出了SkillConsist，一种基于双向图对齐的新方法，旨在精准识别技能声明与实现之间的不一致性。
技术核心：双向图对齐
SkillConsist的核心创新在于双向图对齐机制。首先，它利用大语言模型将技能中的声明部分和实现部分分离，形成行为记录，并分别构建声明行为图和实现行为图。然后，从任一行为记录出发，在另一侧图中搜索候选子图，并沿着行为关系逐步扩展，直至完整表达源端行为。最后，通过图差异分析识别对齐子图之间的冲突，输出不一致性检测结果。
这种方法有效解决了两个关键挑战：一是声明与实现行为可能混合在文本和代码中，难以直接比较；二是简洁的声明可能对应多个相互关联的实现步骤，传统方法难以捕捉这种多对一或一对多的映射关系。
基准测试与性能表现
为评估SkillConsist的有效性，研究者构建了一个包含633个技能的基准测试集，来源于ClawHub上最受欢迎的500个公共技能和133个技能注入包。该基准包含319个不一致技能、314个一致技能，以及442处局部不一致标注。实验结果显示，SkillConsist在包级检测上达到了86.85%的精确率、89.03%的召回率和87.93%的F1分数，相比最佳基线，F1分数提升了20.43个百分点。在局部不一致定位方面，其精确率为67.60%，召回率为58.14%，F1分数为62.52%。
行业意义与展望
Agent技能的一致性是保障智能体安全可靠运行的关键环节。SkillConsist通过引入图对齐技术，提供了一种更精细、更准确的检测手段，有助于开发者及时发现并修复潜在风险。尽管局部定位的准确率仍有提升空间，但包级检测的显著优势已表明该方法在实际应用中的巨大潜力。未来，随着智能体技术的普及，此类一致性检测工具将成为安全生态中不可或缺的一环。