自然语言数据库接口是人工智能领域日益受到关注的一个方向，因为它允许用户使用普通的自然语言与结构化数据库进行交互。这个领域通常被称为NL2SQL（自然语言到SQL），其核心是将用户友好的查询转换为可以直接在数据库上执行的SQL命令。目标是简化非技术用户的数据访问，并扩大数据系统在金融、医疗保健和零售等多个领域的应用。随着大型语言模型（LLMs）的兴起，这些转换在处理简单查询或结构化数据库布局时变得更加准确和上下文感知。
尽管取得了进展，但在涉及多表连接、嵌套查询或模糊语义的复杂情况下，将自然语言准确转换为SQL仍然具有挑战性。挑战不仅在于生成语法正确的SQL，还在于生成能够正确反映用户意图并在不同领域具有泛化能力的查询。标准方法在需要可解释性和精确性的高风险领域难以扩展。此外，许多当前模型严重依赖固定的架构和训练数据结构，这限制了它们在新或不断变化的环境中的性能。
如今大多数NL2SQL系统依赖于监督式微调，即在标注数据集上训练大型语言模型，这些数据集将问题与正确的SQL答案配对。虽然这种方法带来了显著的改进，但它引入了适应性和可解释性的限制。由于这些模型是针对特定数据集和架构进行微调的，因此在不熟悉的情况下往往表现不佳。此外，它们遵循一种僵化的生成策略，当输入与训练数据不同时可能导致失败。这些系统通常还缺乏对其推理过程的透明性，限制了它们在需要清晰决策路径的领域的应用。
IDEA研究、香港科技大学（广州）、中国科学院和DataArc科技有限公司的研究人员引入了SQL-R1。这种新型NL2SQL模型利用强化学习而非传统的监督学习。SQL-R1在训练过程中使用反馈机制来提高其性能。该模型不是仅从标注示例中学习，而是通过生成SQL候选、执行它们并接收结果的结构化反馈来学习。这种反馈包括SQL是否语法正确、是否产生了正确结果以及其效率和可解释性如何。这种动态学习过程使模型能够随时间优化其SQL生成策略，并在复杂或不熟悉的场景中提高泛化能力。
为了构建SQL-R1，研究人员首先对从一个名为SynSQL-2.5M的大型合成数据集中抽取的200,000个样本进行了监督式微调。这个过程被称为冷启动，确保模型能够遵循基本指令并生成简单的SQL输出。在此之后，使用组相对策略优化（GRPO）算法引入了强化学习。模型为每个查询生成多个SQL候选，并基于复合评分函数获得奖励。该函数包括四个指标：格式奖励（根据语法正确性给予+1或-1）、执行奖励（可执行查询给予+2，失败给予-2）、结果奖励（正确查询输出给予+3，不正确输出给予-3）以及基于推理路径深度和清晰度的长度奖励。这些分数共同更新模型的内部决策过程。
SQL-R1在两个行业标准的NL2SQL基准测试：Spider和BIRD上进行了评估。在Spider开发集上，该模型达到了87.6%的执行准确率，在Spider测试集上达到了88.7%。
对于覆盖37个领域95个数据库的BIRD数据集，该模型得分为66.6%。这些结果与更大的模型（包括像GPT-4这样的闭源解决方案）相当甚至更优。值得注意的是，SQL-R1使用的是Qwen2.5-Coder-7B模型，这比许多替代方案小得多，证明了当与强化学习结合时，高效的架构可以实现高准确率。消融研究证实了每个奖励组件的贡献。例如，移除格式奖励导致准确率从63.1%下降到60.4%。移除结果奖励导致准确率下降0.7%，表明奖励机制中的每个元素在指导模型方面都发挥作用。
SQL-R1研究的几个关键结论：
SQL-R1在Spider测试集上达到了88.7%的准确率，在BIRD开发集上达到了66.6%，仅使用了一个7B基础模型（Qwen2.5-Coder-7B）。
该模型使用了SynSQL-2.5M数据集的200,000个样本进行监督式微调，并使用5,000个复杂样本进行强化学习。
GRPO算法为强化学习提供了动力，该算法不需要价值模型，并且能够高效地使用相对性能分数。
奖励函数包括四个组成部分：格式（+1/-1）、执行（+2/-2）、结果（+3/-3）和长度（成比例）。
SQL-R1超越了像GPT-4这样的大型模型，强调了模型架构和反馈训练与大小一样重要。
消融研究表明了每个奖励的重要性：移除格式奖励导致性能下降2.7%，而移除执行奖励导致准确率下降2.4%。
该方法促进了透明性，因为模型使用“think和”answer"签提供推理路径，提高了最终用户的可解释性。
详见论文：https://arxiv.org/abs/2504.08600