SheepNav
精选今天0 投票

Dr-DCI:动态工作区扩展,让AI智能体直接“动手”操作语料库

大型语料库上的智能体搜索长期依赖检索器中介接口(如BM25或ColBERT)来筛选候选文档。虽然这些接口在排序相关性方面表现不俗,但它们只提供排名列表或有限文档视图,智能体很难跨文档重新组织材料、验证约束条件。为了解决这一瓶颈,研究人员提出了直接语料交互(Direct Corpus Interaction, DCI)——让智能体通过可执行的Shell命令直接对语料库进行搜索、过滤、比较和验证。但DCI有一个致命短板:随着语料库规模增长,全库终端命令会变得缓慢且不稳定,性能和效率急剧下降。

来自滑铁卢大学等机构的研究团队在最新论文中提出了Dr-DCI(Retriever-Steered DCI),巧妙地将检索器作为智能体可调用的“工作区扩展”动作。智能体不再直接操作整个语料库,而是先通过检索器动态拉取相关文档,将其纳入一个不断演进的本地工作区,然后在这个工作区内执行DCI操作。这种设计融合了检索级的可扩展性与DCI级的精确性:检索保证探索范围足够广,DCI则保留局部操作所需的精细控制。

实验结果表明,Dr-DCI在多个规模层级上均表现出色。在Browsecomp-Plus基准测试中,Dr-DCI准确率达到71.2%,相比原始DCI及消融变体提升高达8.3个百分点,同时减少了工具调用次数、实际运行时间和预估成本。若采用保留工作区的上下文重置策略,准确率进一步提升至73.3%。在语料规模扩展实验中,从10万到1000万文档,Dr-DCI始终稳定有效,而原始DCI变得不稳定,BM25性能大幅下降。Dr-DCI还成功扩展到2000万规模的Wiki-18 QA场景,在6个基准上平均得分63.0,超越了基于检索和训练的搜索智能体基线。消融分析进一步指出,排名预览文档间DCI操作是性能提升的关键因素。

这项研究为智能体搜索提供了一条新路径:不是让智能体在浩如烟海的文档中大海捞针,而是动态构建一个“微型工作台”,让智能体像专家一样精雕细琢。

延伸阅读

  1. Metric Match:一种评估LLM裁判可靠性的子集选择方法
  2. AI 记忆痕迹:在人工神经网络中寻找“印痕”
  3. 语义增强的检索增强时间序列预测:SERAF框架突破非平稳性难题
查看原文