📖标题：Parallel Key-Value Cache Fusion for Position Invariant RAG
🌐来源：arXiv, 2501.07523
🌟摘要
🔸大型语言模型（LLM）的最新进展强调了检索增强生成（RAG）利用外部信息的必要性。然而，LLM对相关信息在上下文中的位置很敏感，当这些信息被放在中间时，往往会产生错误的反应，称为“迷失在中间”现象。
🔸在本文中，我们介绍了一个框架，该框架为仅解码器的模型生成一致的输出，而不管输入上下文顺序如何。
🔸三个开放域问答任务的实验结果证明了位置不变性，其中模型对输入上下文顺序不敏感，与RAG管道的主流方法相比，对无关段落具有更优的鲁棒性。
🛎️文章简介
🔸研究问题：检索增强生成（RAG）系统中存在的“中间迷失”现象，即模型在处理输入序列时对中间部分信息的忽视，导致性能下降。
🔸主要贡献：论文提出了一种名为KV-Fusion的轻量级训练方案，通过并行提取和预填充键值缓存（KV-cache）来解决RAG系统中的位置偏差问题，增强了模型对输入顺序的鲁棒性。
📝重点思路
🔸KV-Fusion架构：论文提出了一种包含两个组件的框架，预填充解码器（Dp）和可训练解码器（Dt）
🔸预填充解码器：并行处理多个输入段落，提取键值缓存（KV-cache），并为每个输入段落注入相同的位置信息。
🔸可训练解码器：使用预填充的KV-cache和目标令牌进行训练，通过下一个令牌预测任务来生成输出。训练不依赖于之前的令牌，而是依赖于KV-cache，从而确保模型对输入顺序的不变性。
🔸数据集与训练：使用了三个开放域问答数据集（Natural Questions、TQA、POPQA），并基于Llama3-8B模型进行微调。训练过程中，模型被设计为能够处理包含无关上下文的输入，以增强鲁棒性。
🔸位置不变性测试：通过将黄金上下文放置在不同位置（如开头、中间、随机顺序）来测试模型的位置不变性，验证KV-Fusion在不同输入顺序下的鲁棒性。
🔎分析总结
🔸位置不变性：KV-Fusion模型在黄金上下文位置变化时表现出稳定的准确性，而基线模型在上下文顺序打乱时准确性显著下降，表明KV-Fusion具有位置不变性。
🔸鲁棒性：KV-Fusion模型在处理大量输入段落时表现出更强的鲁棒性，即使增加无关上下文，其准确性仍保持稳定，而其他方法在增加段落时性能下降。
🔸准确性提升：在打乱上下文的设置下，KV-Fusion模型在NQ、TQA和POPQA数据集上的准确性分别提升了21.4%、6.4%和6.6%。
🔸令牌级一致性：KV-Fusion模型在令牌级匹配（TLM）指标上表现出近乎完美的分数，表明其能够在上下文顺序变化时生成一致的输出。
💡个人观点
论文的核心在于使用键值缓存来训练，优化了长输入的位置偏差。
🧩附录
