脑科学和人工智能交叉：脑启发的混沌脉冲反向传播

脑科学和人工智能交叉：脑启发的混沌脉冲反向传播

受大脑中混沌动力学的启发，国科大杭州高等研究院的陈洛南团队提出了混沌脉冲反向传播（CSBP）算法，不仅为脉冲神经网络（SNN）的高效训练提供了一个强大的工具，而且为深入理解大脑的学习机制提供了新的见解。该研究成果近日以“Brain-inspired Chaotic Spiking Backpropagation”为题在线发表于《国家科学评论》（National Science Review）。

脉冲神经网络：模拟大脑的高效计算模型

脉冲神经网络（Spiking Neural Network，SNN）作为脑科学和人工智能相互交叉而发展的第三代人工神经网络，可以基于事件驱动的二进制脉冲信号来表征和处理信息。由于输入的脉冲信号需要累计到一定程度才会激发输出脉冲，这种稀疏化的特征可以让SNN实现与人脑相当的功耗。除此之外，SNN可以有效解决传统DNN时空信息表征效率低、自组织学习能力弱和硬件实现难度大等核心难题，因此吸引了国内外学者广泛的研究兴趣。

混沌动力学：大脑学习的关键机制

混沌与相对论和量子力学齐名，被誉为是20世纪自然科学领域中三个最重要的理论发现之一，是由确定性系统产生不可预测性的全局动力学现象。具体来说，混沌与不确定性的随机现象相似但本质不同，它是一种对初值十分敏感的非周期非线性的确定性动力学行为并具有全局动态性和伪随机性，其状态在分形空间具有遍历性。在生命体中，这种动力学行为不仅在心脏、神经元乃至大脑中都有发现，而且它对许多生命过程都非常重要，例如基因的表达和调控、信号处理、睡眠和嗅觉识别。

Skarda和Freeman的实验表明，大脑神经元的混沌动力学是兔子获取新的嗅觉模式不可缺的因素，进一步Matsumoto和Aihara等的实验发现乌贼的神经元利用混沌动力学来感知外部信息，这些研究暗示经过亿万年的进化或筛选，动物大脑不是只采用现行深度学习的梯度动力学或随机动力学而是利用了混沌动力学认知或学习。此外，最近也有实验表明，动物大脑的神经网络是处在有序和混沌之间的临界或准临界状态。值得一提的是，由于伪随机性和遍历性（全局性）等丰富的动力学特性，混沌已经被广泛用于解决全局优化问题。

CSBP算法：融合混沌动力学的创新突破

受大脑中混沌动力学的启发，国科大杭州高等研究院的陈洛南团队提出了混沌脉冲反向传播（CSBP）算法，它通过在SNN内部引入一项混沌损失函数来给神经元增加一项负反馈，从而使网络权重产生类似大脑中的混沌。理论上，该团队证明了CSBP的学习过程在初始阶段是混沌的，然后随着混沌模拟退火会出现各种分叉动力学，最终退化为梯度动力学并收敛。计算上，利用混沌动力学的遍历性和伪随机性，CSBP在基准数据集上达到了更低的训练损失和更好的泛化性能。特别地，CSBP在传统的大规模静态数据集（ImageNet和CIFAR100，图4）和神经形态数据集（DVS-CIFAR10和DVS-Gesture）上的准确性和鲁棒性均优于现有的方法。

图3：CSBP算法原理示意图

图4：CSBP在CIFAR100数据集上的性能

总的来说，CSBP不仅为SNN的高效训练提供了一个强大的工具，而且为深入理解大脑的学习机制提供了新的见解。该研究成果近日以“Brain-inspired Chaotic Spiking Backpropagation”为题在线发表于《国家科学评论》（National Science Review，IF5=22.3）。国科大杭州高等研究院的2021级直博生王梓鉴和助理研究员陶鹏为本论文共同第一作者，陈洛南研究员为通讯作者。国家自然科学基金和中科院为此项研究提供了资助。

本文原文来自《国家科学评论》