脑研究如何启发超低功耗新一代AI模型和算法的设计？

脑研究如何启发超低功耗新一代AI模型和算法的设计？

导读：脑科学研究如何启发设计出更好的AI？复旦大学于玉国教授在AI by Complexity读书会上的分享，揭示了大脑高效运行机制与AI设计之间的联系。通过对神经元和网络在信号学习过程中的高度稀疏性、变异性和能量高效性等现象的理论解析，为设计超低功耗的下一代AI模型和算法提供了新的思路。

研究背景

大脑皮层神经元如何通过动态放电模式有效地表征感觉刺激，是一个重要的核心科学问题。针对过去30年来实验和计算神经科学家发现的神经元和网络在信号学习过程呈现出的高度稀疏性、变异性和能量高效性等现象。神经响应的高度变异性是否反映了神经系统本身的编码性能还是内在随机性也存在较大争论。我们尝试针对这多个特征内在的关系做一个理论解析。

核心内容

通过对三个概念的定义，我们做了数学推导和分析，发现在变化各种刺激条件下带来的神经响应活动的多种典型统计分布，神经活动的稀疏性和变异系数呈现出一个完美的函数关系；进而我们论证了这两个概念的本质其实正是信息表征的能效比，即给定能耗的情况下，神经系统可表征的信息量。因此神经网络在学习过程呈现出的高度变异性其实本质就是高效稀疏编码特性，也就是在给定能耗情况系统演化出的最大化信息表征量。由此这一基本理论框架有助于较全面理解脑的高效学习和网络演化趋势，为设计受脑启发的超低功耗新一代人工智能模型和算法提供了有益的启示。

关键发现

1. 神经脉冲放电活动的变异性和稀疏性（S-CV）及两者等价性
2. 神经网络高能效编码能力的指标：放电不规则性和稀疏性
3. S-CV 的本质对AI模型及发展高能效可靠算法的启发

参考文献

1. Huang, M., Lin, W., Roe, A., & Yu, Y. (2024) A Unified Theory of Response Sparsity and Variability for Energy-Efficient Neural Coding. Preprint on BIORXIV/2024/614987.
2. Rolls, E. T., & Tovee, M. J. (1995). Sparseness of the neuronal representation of stimuli in the primate temporal visual cortex. Journal of Neurophysiology, 73, 713-726.
3. Treves, A., & Rolls, E. (2009). What determines the capacity of autoassociative memories in the brain? Network Computation in Neural Systems, 2, 371-397.
4. Haider, B., Krause, M. R., Duque, A., et al. (2010). Synaptic and network mechanisms of sparse and reliable visual cortical activity during nonclassical receptive field stimulation. Neuron, 65, 107-121.
5. Olshausen, B. A., & Field, D. J. (2004). Sparse coding of sensory inputs. Current Opinion in Neurobiology, 14, 481-487.
6. Softky, W. R., & Koch, C. (1993). The highly irregular firing of cortical cells is inconsistent with temporal integration of random EPSPs. Journal of Neuroscience, 13, 334-350.
7. Lengler, J., & Steger, A. (2017). Note on the coefficient of variations of neuronal spike trains. Biological Cybernetics, 111, 229-235.
8. Yu, Y., Migliore, M., Hines, M. L., & Shepherd, G. M. (2014). Sparse coding and lateral inhibition arising from balanced and unbalanced dendrodendritic excitation and inhibition. Journal of Neuroscience, 34, 13701–13713.
9. Yu, Y., McTavish, T. S., Hines, M. L., Shepherd, G. M., Valenti, C., & Migliore, M. (2013). Sparse distributed representation of odors in a large-scale olfactory bulb circuit. PLoS Computational Biology, 9, e1003014.
10. Marder, E. (2011). Variability, compensation, and modulation in neurons and circuits. Proceedings of the National Academy of Sciences, 108, 15542-15548.
11. Faisal, A. A., Selen, L. P., & Wolpert, D. M. (2008). Noise in the nervous system. Nature Reviews Neuroscience, 9, 292-303.

主讲人简介

于玉国，复旦大学智能复杂体系基础理论与关键技术实验室教授、医学神经生物学国家重点实验室双聘研究员。南京大学物理学博士(2001)，美国卡耐基梅隆大学计算神经科学博士后(2001-2004)，耶鲁大学医学院博士后和副研究员(2005-2011)。中国计算神经科学学会、脑机融合与生物机器智能专业委员会，生物医学工程与自动化控制专委会等学会委员，IEEE Transactions on Cognitive and Developmental Systems，Front in Comp Neurosci和Cog.Neurody等期刊副主编。主持科技部重大项目课题和国自然基金等10余项。在Nature, PNAS，Neuron, Physical Review Letters, J Neurosci, PLoS Comp Biol等发表SCI论文70余篇。研究方向：脑启发的智能复杂系统理论和神经计算机制。