想要掌握如何将大模型的力量发挥到极致吗？叶梓老师带您深入了解 Llama Factory —— 一款革命性的大模型微调工具。
1小时实战课程，您将学习到如何轻松上手并有效利用 Llama Factory 来微调您的模型，以发挥其最大潜力。
CSDN教学平台录播地址：https://edu.csdn.net/course/detail/39987
视频号（直播分享）：sphuYAMr0pGTk27 抖音号：44185842659
符号回归作为一种从数据中发现可解释数学表达式的基本工具，在科学和工程领域具有广泛应用。然而，现有的基于大模型的方法，如 LLM-SR，往往过度依赖大模型内部的先验知识，缺乏对数据结构的深入理解和系统反思机制，导致生成的方程准确性和泛化能力有限。为了解决这些问题，中国科学院自动化研究所的研究人员提出了 DrSR（Dual Reasoning Symbolic Regression）框架，通过结合数据驱动的洞察和归纳思想提取，显著提升了符号回归的效率和准确性。
DrSR 框架的核心创新
DrSR 框架的创新之处在于引入了两大协同推理机制：数据驱动的洞察（Data-aware Insight）和归纳思想提取（Inductive Idea Extraction）。数据驱动的洞察模块通过分析数据中的变量关系，提取结构化模式，为方程生成提供任务特定的先验知识。随着迭代进行，这些洞察从粗略的全局模式逐渐细化为更具体的局部和高阶结构，从而引导主模型生成更精确、更可解释的表达式。
图 1 展示了 DrSR 框架的工作流程。数据驱动的洞察模块（图 1(a)）分析变量之间的结构关系，如单调性、非线性和相关性，并生成结构化描述。归纳思想提取模块（图 1(b)）则根据方程的评估结果，总结成功和失败的模式，形成动态的思想库，用于指导后续的方程生成。通过这种闭环推理循环，DrSR 实现了对方程生成过程的持续优化。
Algorithm 1 定义了 DrSR 的核心流程，协调数据洞察模块和归纳思想提取模块，通过不断生成、评估和优化方程，逐步提升方程的质量和搜索效率。Algorithm 2 聚焦于对方程评估结果的处理，具体包括对方程性能的分类（正向、负向、无效）以及从这些结果中提取结构化启发式信息（想法）。Algorithm 3 描述了数据洞察的更新过程。它基于当前最佳方程的残差分析，生成新的数据洞察。
实验验证与性能对比
研究者在涵盖物理、化学、生物和材料科学的六个跨学科数据集上对 DrSR 进行了评估，结果表明 DrSR 在有效方程率、准确性和泛化能力等方面均显著优于传统方法和基于大模型的基线方法。
表格 1 展示了 DrSR 和其他基线方法在六个符号回归基准测试中的整体性能。无论是使用 Mixtral 还是 LLaMA 3.1 作为大模型 backbone，DrSR 在大多数数据集上都取得了最低的 NMSE（归一化均方误差）和最高的 Accτ（误差容忍度下的准确率）。例如，在 Oscillator 2 数据集上，DrSR（Mixtral）的 NMSE 仅为 1.80×10⁻¹²，远低于 LLM-SR（Mixtral）的 4.59×10⁻⁵。这表明 DrSR 能够更精准地捕捉数据背后的数学关系。
泛化能力与收敛效率
进一步的泛化评估表明，DrSR 在分布内（ID）和分布外（OOD）设置下均展现出强大的泛化性能。图 2 显示，DrSR 在所有任务和设置中均实现了最低的 NMSE，且在不同设置之间的性能下降幅度最小，表明其学习的是数据背后的潜在规律，而非特定分布模式。
在收敛效率方面，DrSR 同样表现出色。图 3 比较了 DrSR 与 LLM-SR、uDSR 和 PySR 在六个基准任务上的训练收敛速度。结果显示，DrSR 在大多数情况下仅用 1000 次迭代即可达到其他方法 2000 次迭代的性能水平。这种高效的收敛能力主要归功于 DrSR 的双循环推理机制：数据驱动的洞察缩小了搜索空间，而基于经验的生成避免了冗余或次优候选方程。
有效解率与消融实验
DrSR 在有效解率（生成的方程在语法上有效、可编译和可执行的比例）方面也显著优于 LLM-SR。图 4 显示，在结构复杂的数据集（如 E. coli Growth 和 Stress-Strain）上，DrSR 的有效解率比 LLM-SR 高出 0.4 至 0.6。这一优势主要得益于 DrSR 的思想库，其能够从过去的失败中提取并应用避免错误的策略，从而降低计算浪费并提高样本效率。
消融实验进一步验证了 DrSR 两大核心组件的贡献。图 5 展示了在 Oscillator 2 任务中，数据驱动洞察和归纳思想提取对 DrSR 性能的影响。结果表明，随着对数据洞察的更多利用，模型性能显著提升。同时，归纳思想提取模块的各个部分（如成功方程的经验总结和错误避免策略）对性能的提升具有协同作用。
