一、为什么需要 DAgent 技术？
1.1 数据库分析报告的自动化需求
在现代企业中，数据驱动的决策变得越来越重要。无论是金融、医疗还是市场营销，企业都需要从海量数据中提取有价值的洞察。然而，传统的数据库分析报告生成通常依赖于数据科学家手动完成，这不仅耗时耗力，还容易出错。随着数据量的爆炸式增长，手动分析已经无法满足企业的需求，自动化生成数据库分析报告成为了迫切的需求。
举个例子，假设一家零售公司需要分析各地区销售趋势，并与营销支出进行关联。传统方法下，数据科学家需要手动编写复杂的 SQL 查询，从多个表中提取数据，再进行统计分析，最后生成报告。这个过程可能需要数天甚至数周，而自动化技术可以在几分钟内完成同样的任务，大大提高了效率。
1.2 现有技术的局限性
虽然现有的技术如 Table QA（Table Question Answering）和 Text-to-SQL（将自然语言转换为 SQL 查询）已经在一定程度上减少了人工干预，但它们主要适用于简单的查询任务，无法处理复杂的分析任务。例如，回答“各地区销售趋势如何，并与营销支出有何关联？”这样的问题，需要跨表关联、多步推理以及生成综合性的分析报告，现有技术难以胜任。
以 Text-to-SQL 为例，它可以将自然语言问题转换为 SQL 查询，但通常只能处理单一查询，无法进行多步推理或生成复杂的分析报告。而 Table QA 虽然可以从表格中提取信息，但它缺乏跨表关联和综合分析的能力。因此，现有的技术在应对复杂分析任务时显得力不从心。
1.3 DAgent 的诞生
为了填补这一技术空白，DAgent 应运而生。DAgent 是一个基于大语言模型（LLM, Large Language Model）的智能体系统，专门设计用于从关系型数据库中生成复杂的数据分析报告。它通过集成规划、工具和记忆模块，能够将自然语言问题分解为逻辑独立的子查询，从数据库中准确检索关键信息，并通过多步推理生成完整、正确且简洁的分析报告。
二、DAgent 技术解析
2.1 DAgent 的核心架构
DAgent 是一个专门为关系型数据库驱动的数据分析报告生成任务设计的 LLM（Large Language Model，大语言模型）智能体系统。它由三个核心模块组成：规划模块、工具模块和记忆模块。这三个模块协同工作，帮助 DAgent 高效地处理复杂的分析任务。
• 规划模块：这是 DAgent 的“大脑”，负责分析用户输入的自然语言问题，决定是否需要将问题分解为多个子问题，并选择适当的工具来执行任务。
• 工具模块：这是 DAgent 的执行单元，包含了多个专用工具，如问题分解工具、数据检索工具、SQL 重写工具和报告生成工具。
• 记忆模块：这个模块记录了用户的历史问题、执行路径和中间结果，确保系统能够高效处理后续任务。
举个例子，当用户提出一个复杂的问题时，规划模块会将其分解为多个子问题，并为每个子问题选择最合适的检索工具。工具模块则负责具体的操作，如问题分解、数据检索、SQL 重写和报告生成。记忆模块则记录这些历史信息，确保系统在后续处理类似问题时能够快速响应。
2.2 规划模块：智能决策中心
规划模块是 DAgent 的“大脑”，它根据问题的复杂程度动态调整执行策略。例如，当用户提出一个复杂的问题时，规划模块会将其分解为多个子问题，并为每个子问题选择最合适的检索工具。
举个例子，假设用户提出一个问题：“中国央行和区域经济中的关键财务指标（包括外债、政府存款和 GDP）在过去一年中如何变化？从中可以得出哪些见解？”这个问题涉及多个方面，规划模块会将其分解为以下几个子问题：
1. “过去一年中政府存款的趋势如何？”
2. “区域经济中的 GDP 在过去一年中如何演变？”
3. “过去一年中中国央行的外债如何变化？”
通过这种灵活的规划策略，DAgent 能够处理复杂的跨表关联和多步推理任务。
2.3 工具模块：多功能工具箱
工具模块是 DAgent 的执行单元，包含了多个专用工具，每个工具都有明确的功能划分，确保任务执行的高效性和准确性。
• 问题分解工具：将复杂问题分解为多个逻辑独立的子问题。例如，将“中国央行和区域经济中的关键财务指标在过去一年中如何变化？”分解为多个子问题。
• 数据检索工具：通过直接编码和 SQL 查询两种方式从数据库中检索相关信息。直接编码适合模糊查询，而 SQL 查询适合具体查询。
• SQL 重写工具：优化生成的 SQL 查询，确保其高效且符合分析需求。例如，将“SELECT Government Savings FROM ed money authority bs;”优化为“SELECT Year, SUM(Government Savings) AS Total Savings FROM ed money authority bs GROUP BY Year;”。
• 报告生成工具：将检索到的数据整合为完整的分析报告。
通过这些工具，DAgent 能够高效地处理复杂的分析任务，生成符合用户需求的报告。
2.4 记忆模块：历史经验的记录者
记忆模块记录了用户的历史问题、执行路径和中间结果，确保系统能够高效处理后续任务。具体来说，记忆模块通过以下三种方式提供支持：
1. 历史用户问题和结果：每当 DAgent 处理一个问题并生成报告时，系统会存储用户的问题及其执行结果。这样，当用户提出类似问题时，系统可以直接利用历史记录快速生成响应，而不需要重新执行数据检索和分析过程。
2. 当前问题的中间生成内容：在处理每个用户问题时，DAgent 会经历多个步骤，如问题分解、数据检索等。每个步骤生成的中间数据和结果都会被记录在记忆模块中，为最终的报告生成提供必要的上下文支持。
3. 历史问题和规划路径的对应关系：每个用户问题都与规划模块生成的执行路径相关联，这些路径包括关键策略，如是否需要分解问题、使用哪些工具等。这些历史规划路径为 DAgent 处理类似问题时提供了宝贵的经验支持，帮助系统快速确定最合适的执行策略。
通过记忆模块，DAgent 能够快速响应类似问题，减少重复计算，提高任务执行效率。
三、DAgent 的应用评估
3.1 数据集与评估指标
为了全面评估 DAgent 的性能，研究团队构建了一个专门用于数据分析报告生成的数据集——DA-Dataset。
该数据集包含 735 个条目，涵盖了金融和医疗等多个领域。评估指标包括检索性能（如召回率、精确度）和报告生成质量（如准确性、相关性）。DA-Dataset 的设计旨在模拟现实世界中的复杂数据分析任务，每个问题平均需要从 4.5 个表和 10.8 个列中检索信息，确保评估的全面性和挑战性。
3.2 检索性能评估
在检索性能方面，DAgent 显著优于现有的基线方法。例如，在 DA-CCKS 数据集上，DAgent 的召回率达到 36.96，精确度为 56.35，F1 得分为 43.10，远超其他方法。这表明 DAgent 能够高效地从多个相关表中检索关键信息，确保数据的全面性和准确性。特别是在处理复杂查询时，DAgent 通过多步推理和跨表关联，显著提升了检索的精确度和召回率。
3.3 报告生成质量评估
在报告生成质量方面，DAgent 同样表现出色。在 DA-BIRD 数据集上，DAgent 的报告准确性得分为 6.43，报告相关性得分为 7.01，均高于其他方法。这意味着 DAgent 不仅能够准确检索数据，还能将其转化为逻辑清晰、语义准确的分析报告。通过多步推理和数据整合，DAgent 生成的报告不仅满足了查询的完整性要求，还避免了冗余信息，确保了报告的简洁性和可读性。
3.4 规划策略的有效性
通过对比实验，研究团队验证了规划策略的有效性。例如，使用问题分解工具后，系统的检索性能显著提升，尤其是在处理复杂问题时，问题分解工具帮助系统从多个表中全面检索相关信息，大大提高了查询的准确性。此外，数据检索规划和 SQL 重写策略的结合也显著提升了系统的整体效率，确保了检索结果的精确性和报告的生成质量。
来源 | 大语言模型论文跟踪