精选2个月前0 投票
DecodeShare：追踪LLM解码时刻共享子空间的新方法
大语言模型（LLM）凭借一组参数处理多种任务，但在KV缓存推理中，解码阶段是否利用了任务通用结构尚不明确。arXiv上最新论文《DecodeShare: Tracing the Shared Subspace of LLM Decode-Time Decisions》提出了一种新方法，通过识别解码时隐藏状态中跨任务共享的低维子空间，并测试其因果作用。
核心发现
研究人员发现，在解码阶段，LLM的隐藏状态中存在一个任务共享的低维子空间。通过移除该子空间，模型的决策性能下降幅度远大于移除预填充阶段或随机子空间。这表明该子空间在解码时扮演着关键因果角色。
对激活引导的影响
该共享子空间对**激活引导（activation steering）**具有实际意义：常见的引导方向可能重叠任务通用解码通道。通过投影去除共享子空间，可以分离两种组件的功能角色，而基于解码阶段的引导向量比预填充阶段的代理信号更可靠，更适合下游部署。
实践价值
尽管共享子空间维度低，但它可作为解码时的高杠杆因果通道。这一发现为理解LLM推理机制提供了新视角，并可能优化模型效率与可控性。
实验验证
实验在多种任务上进行，通过对比干扰不同子空间（共享、预填充、随机）的效果，验证了共享子空间的独特重要性。代码已开源。
总结
DecodeShare不仅揭示了LLM解码时隐藏状态的结构特性，还为激活引导等应用提供了优化方向。未来工作可进一步探索子空间的动态特性及其与模型规模的关系。
