今天给大家分享一篇论文。
题目是：C-RAG：如何构建一个可信的联邦检索RAG系统。
论文链接:https://arxiv.org/abs/2412.13163
论文概述
尽管大型语言模型 (LLM) 在各种应用中展现出令人印象深刻的能力，但它们仍然存在可信度问题，例如幻觉和偏差。检索增强语言模型 (RAG) 被提出通过接地外部知识来增强生成的可靠性，但对其生成风险的理论理解仍未探索。当前RAGt可信主要存在以下挑战：
- LLMs 存在幻觉和不一致等问题，导致输出结果不可靠且不可信。
- 对于 RAG 模型如何有效减轻生成风险的理论理解不足，相较于普通 LLMs，尚缺乏充分的理论支持。
- 收集准确反映测试样本分布的校准数据在实际应用中面临挑战，尤其是在实时应用场景中。
这篇论文介绍了C-FedRAG，即Confidential Federated Retrieval-Augmented Generation System，一个保密的联邦检索增强型生成系统。该系统旨在帮助组织利用大型语言模型（LLMs）进行知识查询和分析，同时在不违反数据隐私和安全政策的前提下，解决维护针对性、最新信息的挑战，并减少LLMs在查询响应中的幻觉问题。
相关工作
论文中提到的相关研究主要集中在以下几个方面：
- FeB4RAG: Evaluating Federated Search in the Context of Retrieval Augmented Generation (Shuai Wang, 2024)：
该论文概述了一个在RAG框架内进行联邦搜索的架构，并引入了一个新的数据集，用于评估联邦搜索，解决了现有数据集的局限性。论文强调了开发复杂的联邦搜索策略的重要性，以优化RAG管道并提高生成响应的质量。
- Federated Learning-Enhanced Retrieval Augmented Generation (FLERAG) (Eugenia Kim, 2024)
提出了一种新的方法，用于在传统的RAG LLM和跨客户端设备数据训练的FL模型之间选择最佳响应，以解决需要不断更新RAG数据库的问题。通过响应仲裁器选择置信度更高的响应。全局FL模型在所有客户端之间共享，提供更全面和最新的响应，用于与基于预训练知识的LLM响应进行比较。
- Cache Me If You Can: The Case For Retrieval Augmentation (RA) in Federated Learning (Aashiq Muhamed, 2024)
提出了一种在FL中使用RA增强的方法，该方法在推理期间结合了基于检索的方法，客户端设备从其本地数据集中检索相关信息，并在将查询输入模型之前增强查询。这种方法解决了隐私问题和法规合规性，同时允许各个客户端的模型从整个网络的集体知识中受益。该方法要求客户端在FL系统中微调自己的模型，使用它们各自的私有数据。
- Clinical Question-Answering over Distributed EHR Data (Jiang, 2024)
提出了使用联邦RAG进行临床问答的系统，利用LLM进行临床问题回答，而不损害患者隐私。提出的系统采用了分层设计的联邦文档检索，实现了对分布式临床数据的高效和安全访问。作者还引入了一个新的基于MIMIC-IV数据库的数据集，专门用于评估临床问答系统。通过解决隐私问题和增强可解释性，提出的方法在利用LLM进行临床应用方面迈出了重要一步。
这些相关工作展示了RAG系统在联邦学习背景下的不同应用和研究方向，包括联邦搜索策略的优化、模型选择、隐私保护和法规合规性，以及在临床问答中的应用。这些研究为C-FedRAG系统的提出提供了理论和实践基础。
核心内容
论文通过提出一个名为C-FedRAG的系统来解决在保持数据隐私和安全的同时，利用大型语言模型（LLMs）进行知识查询和分析的问题，具体解决方案包括以下几个关键步骤：
1. 检索增强生成
C-FedRAG的基本RAG流程包括：
- 将数据库中的文档向量化，形成向量化块。
- 将查询嵌入到相同的嵌入模型中，并执行嵌入检索，以检索与查询最相关的文档块。
- 通过重新排名模型进一步优化检索结果，以提高准确性。
- 将最相关的文档作为上下文附加到原始查询中，形成增强的输入，然后输入到LLM以生成响应。
2. 联邦化和保密计算
C-FedRAG系统的关键组成部分包括：
- 使用NVIDIA FLARE SDK实现联邦化计算。
- 利用保密计算环境保护数据隐私和安全，特别是在上下文收集、聚合和响应生成过程中。
- 通过联邦化的方式在多个数据提供者之间执行嵌入模型训练、上下文检索、重新排名和最终推理。
3 C-FedRAG实现
C-FedRAG系统的实施细节包括：
- 使用NVIDIA FLARE SDK构建解决方案，确保通信安全。
- 协调器使用NVFlare作业协调检索请求，并收集检索块。
- 通过保密虚拟机在C-FedRAG工作流程中集成隐私保护方法，确保数据的保密性和完整性。
评估方面，使用MedRAG工具包和MIRAGE基准数据集对C-FedRAG系统的性能进行评估，展示了该系统在处理各种医学文本格式和复杂性方面的能力。
论文实验
1. 实验设置
基准测试：实验使用了MedRAG工具包和MIRAGE基准数据集作为评估基础。具体来说，使用了BioASQ和PubMedQA数据集，其中BioASQ包含618个是非问题，PubMedQA包含500个是非问题。
基线方法：与C-FedRAG进行比较的其他方法包括直接使用的LLMs，如LLaMA-3-8B-Instruct，以及通过MedRAG系统使用单一数据集（MedCorp）和特定数据集（如PubMed、StatPearls、Textbooks、Wikipedia）的RAG方法。
评估指标：主要使用准确率百分比和标准差作为评估指标，通过MIRAGE评估平台生成与真实答案的对比得分。
2. 主要结果
C-FedRAG在多个基准测试中展现出竞争性能，尤其是在BioASQ基准测试中，通过集成多个数据源并使用重排名模型，显著提升了性能。
由于无法直接提供图片，我将描述表格内容：
- 表1展示了C-FedRAG与普通RAG（MedRAG）和非RAG LLM提示的结果比较。
- 表2展示了使用CoT时，不同LLaMA模型的消融研究结果。
3. 结果分析
数据源集成的重要性：通过比较单一数据源与集成多个数据源的C-FedRAG系统的性能，结果表明集成多个数据源可以提供更有用的信息，并显著提升性能。
重排对性能的增强：通过比较仅使用嵌入/检索排名与使用最终重排名模型的C-FedRAG系统，发现重排名模型有助于提升BioASQ任务的性能。
上下文窗口大小的影响：研究了不同上下文窗口大小对性能的影响，发现存在一个最佳的上下文窗口大小（例如8个），既能保证答案的准确性，又不会因过多上下文而降低性能。
联邦化和保密计算的影响：通过不同的联邦化和保密计算策略进行消融研究，发现明确的联邦化步骤对于保持高答案准确性和数据隐私至关重要。
SI的质量：通过检查一些问题及其对应的SI（结构化意图）的例子，评估了SI的质量和鲁棒性，发现SI能够准确地捕捉问题的关键信息。
总结讨论
论文讨论了C-FedRAG在处理跨多个数据提供者的问题时面临的限制，包括数据隐私、控制和安全性的挑战，以及在企业环境中部署联邦RAG系统时需要解决的身份和访问管理问题。此外，还讨论了如何防止数据投毒攻击、使用隐私增强技术保护检索上下文，以及如何在数据提供者之间安全地存储、管理和交换多个加密密钥的问题。
这些实验全面评估了C-FedRAG系统在处理跨多个数据源的问题回答任务时的有效性和效率，并与现有的一些先进方法进行了比较。通过这些实验，论文展示了C-FedRAG在保持数据隐私和安全性的同时，能够达到与集中式RAG方法相当的或更好的答案质量。
编者简介
致Great,中国人民大学硕士，多次获得国内外算法赛奖项，目前在中科院计算所工作，目前负责大模型训练优化以及RAG框架开发相关工作。