探索智能的几何本质,科学家提出基于黎曼几何的智能数学框架
探索智能的几何本质,科学家提出基于黎曼几何的智能数学框架
随着科技的飞速发展,智能和意识的本质成为了神经科学、认知科学和人工智能领域的前沿课题。北京大学助理教授卢萌最近在arXiv上发表了一篇题为《基于黎曼几何的智能数学框架》的论文,提出了一种利用黎曼几何来描述智能和意识本质的全新数学框架。
图|卢萌(来源:卢萌)
智能是一个宽泛的概念。从研究的角度看,智能通常分为基于神经科学或脑科学的生物智能,以及基于模型的人工智能。
在这项研究中,卢萌提出,通过几何分析工具表征智能的内部结构,并试图为生物智能与人工智能提供统一的描述框架。
随着几何学与拓扑工具在数据表征、降维与分类识别等方面的广泛应用,新的研究方法揭示了神经系统和 AI 系统中数据的内在组织和动态。
黎曼几何作为研究任意维度曲面结构的数学工具,能够为高维空间中的数据及其动态变化提供精准的描述。
在智能领域,研究团队提出智能的本质可以被看作是高维空间中的“流形”结构,智能的思维过程则是在这些流形中的曲面上沿着“测地线”流动的过程。通过黎曼几何,研究人员可以捕捉到认知过程中的结构信息和动态变化。
在人工智能领域,目前主要专注于静态数据结构的模型有变分自编码器(VAE,Variational Auto Encoder)和生成对抗网络(GAN,Generative Adversarial Networks)。
虽然这些模型在数据特征的静态分布上表现出色,但对数据的动态变化捕捉能力还存在不足。例如,时序 VAEs 和时序 GANs 虽然结合了时间序列建模,但在特征表示的组织和连接方式上仍有待进一步研究。
此外,基于注意力机制的生成预训练变换模型,虽然能累积上下文信息并生成序列,但其特征表示的组织和连接方式仍有待研究和发掘。
在这里,“特征表示的组织和连接方式”揭示数据内在的联系和模式,指的是如何通过神经网络或其他学习模型将数据的特征有效组织并连接起来,以形成可用于进一步分析和学习的结构。
此前,几何学已经在高维数据的降维、生成模型改进、图神经网络等领域发挥了重要作用。t-分布式随机邻域嵌入、UMAP、统一流形逼近与投影等降维技术,帮助研究人员更好地理解复杂数据中的内在模式,而图神经网络则通过几何表示处理非欧几里得数据,极大地提升了数据分类和预测的精度。
同样地,生物智能中的神经活动也通过几何流形的视角得到了更好的理解,特别是海马体中编码的空间与抽象变量在记忆存储和认知地图生成中的重要作用。
近两年,大模型的飞速发展展现了 AI 的巨大潜力,同时也引发了对其失控的担忧。
“无论乐观或悲观,核心问题在于我们对 AI 内部机制缺乏真正理解。当我们真正能像牛顿用微积分描述物体运动,或像爱因斯坦用黎曼几何描述时空结构来描述智能的结构和动力学时,我们就可以知晓智能的能力范围、其上限、其何处可控何处不可控。”
这既是可解释 AI 研究的需求,也是判断未来 AI 发展方向的关键。”卢萌说道。
他提出,智能的基本单位可以看作嵌入在高维空间中的“token”,这些 token 彼此连接,构成了智能空间中的流形。每个 token 捕捉了环境中的多模态信息,如视觉、语言等,并对其进行抽象表征。
在这个框架中,智能的运作机制被视为流形内沿着测地线依次激活一连串 token 的“思维流”过程。
“思维流”是指,在没有外界扰动时,思维会沿着流形上的测地线自然流动。而当外部刺激或信息输入时,思维流则会偏离测地线,表现出动态变化。测地线是思维流未受外力影响时的最短路径,而当外力(如新信息)进入时,思维流会偏离原有路径,调整流形结构,产生新的思维轨迹。
这一过程与物理学中的广义相对论有相似之处,即“物质告诉时空如何弯曲,弯曲的时空告诉物质如何运动”。
图|智能空间中流形的简化表示(来源:arXiv)
卢萌进一步将“意识”引入到这一智能框架中,他认为,意识是思维流动与几何结构之间的内部感应和反馈机制,可以用自指向量来表示。在智能系统中,意识通过自我参照和反馈来引导思维流动,以适应环境的变化。
具体而言,意识包括以下三个步骤:第一,感知思维流动的状态;第二;将其与预期进行比较,得到预测误差;第三,将预测误差反馈到 token embedding 中,改变流形结构,从而改变测地线和思维流的方向。同时,思维流的调整也会引发智能空间内流形结构的变化。
为了更好地模拟人类智能的灵活性,卢萌还在其模型中引入了随机性。通过对 token 的随机采样,模型能够捕捉数据中的不确定性,增强对异常值的鲁棒性。这种引入随机性的方式不仅使思维流更具适应性,也能够更准确地捕捉认知过程中的概率性行为。
这一框架中的核心观点是:智能的几何结构与思维流之间存在双向互动。思维流受几何结构的引导,而几何结构则会随着思维流的变化而演化。这种动态互动机制使得智能系统能够不断整合新信息,推动自我进化。
此外,框架还为解释智能系统的想象力和创造性思维提供了理论基础。通过在几何结构中探索新的路径,智能系统能够生成新的概念和思维方式,跨越不同流形结构,实现创造性思维。这种能力依赖于系统在高维空间中的自由探索与重组。
卢萌的研究为智能与意识的研究提供了统一的数学框架,不仅适用于生物智能,也适用于 AI。该框架通过几何工具,为未来的理论研究和实证验证铺平了道路。通过该框架,研究人员可以更清晰地描述智能的能力范围、上限以及可控性问题,为 AI 的可解释性研究和未来的智能系统发展提供了理论支持。
总之,卢萌的基于黎曼几何的智能数学框架为理解智能的本质、探索其动态演化提供了新的视角。通过几何化思维的过程,不仅揭示了智能的内在结构,还为未来的智能研究与应用提供了有力的工具。
未来,他希望进一步引入拓扑学、群论等数学工具,从更多角度解析智能的结构与动态变化。其中,如何通过几何学量化智能的进化与学习路径,找到最优的学习轨迹,是他将继续探索的方向。