在继上、中篇讲述的构建Symbol&Neural Hybrid Syste三种融合路线之后,最终,来到抛出了其终极命题思考:“Does Deep Model Actually Converge to Anything Symbolic?”即神经网络求解在深层结构上与符号系统的统一。
回顾人类AI发展历史,众所周知,学术界上一直存在着以Allen Newell和Herbert Alexander Simon为代表的“符号主义”和以Warren McCulloch和Walter Pitts为代表并被当前深度学习三巨头发扬光大的“连接主义”两大学派。这两大学派在人们以往对人工智能发展认知结构下是并行且无关的,甚至两派在观点上相互对立。
然而,随着人们对人工智能与认知科学的进一步探索,会发现这两者间在底层结构上存在着深刻的内涵联系,如本篇讲者田渊栋所述,通过对神经网络收敛解的研究,会发现其中其实存在着符号结构,这个符号结构可以通过理论构建出来,并且会发现这个符号结构与初始下降解的结构是能对应的。也许最终会发现,梯度下降解出来的解可能正通向一个可符号形式化的解释结构。
讲者先是通过抛出当下LLM是否在进行真正的推理又或是检索以往的知识两派悬而未决的争论出发,尝试探索神经网络在训练与推理求解过程中是否学习到符号形式化底层结构。 令人惊喜的是,在对两个数进行加法取模运算学习过程中,DNN习得了一个傅立叶变换的形式化近似(当然这种现象在之前已被很多学者所观察,我认为在模型的正反向传播中对于最终的梯度求导与下降优化过程与模型激活及损失函数或许存在着某种符号化的密切关联,我想这也是KAN网络寄希望于尝试通过Spline曲线的嵌入来进行某种符号形式化表征的某种初衷与内涵吧哈哈…)。
更进一步的,讲者列举了一些观察性实验以验证DDN所习得的符号化代数结构如傅立叶频域变化下的对称性结构,并将MSE loss入手拆解变换形式,再回到将神经网络通过半群半环结构拼接即群环上相×以构造目标函数全局最优解,并最终验证所构造出的解,其结构与真正通过梯度下降得到的解的结构的一致性。
正如讲者最后所述:也许存在另一条路径,即通过代数结构的方式来得到归类SN的解。意味着也许有一天,我们可以在梯度下降之外,通过代数方法得到最优解,亦或能够将符号系统和神经网络系统最终结合起来,形成一个统一的整体,并最终我们能够打开这个黑盒子,真正理解其中的运作机制,并用这些理解的经验来指导我们的训练和构建整个AI系统。