神经网络理论基础：发展历程、原理、分类与应用
神经网络理论基础：发展历程、原理、分类与应用
第7章 神经网络理论基础
1. 神经网络的发展
人工神经网络（简称神经网络，Neural Network）是模拟人脑思维方式的数学模型。神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来模拟人类大脑神经网络的结构和行为，它从微观结构和功能上对人脑进行抽象和简化，是模拟人类智能的一条重要途径，反映了人脑功能若干基本特征，如并行信息处理、学习、联想、模式分类、记忆等。
人工神经网络是20世纪80年代以来人工智能领域兴起的研究热点，它从信息处理角度对人脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，相当于人工神经网络的记忆。网络的输出则依网络的连接方式、权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。
随着神经网络的研究不断深入，其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。
神经网络控制是将神经网络与控制理论相结合而发展起来的智能控制方法。它已成为智能控制的一个新的分支，为解决复杂的非线性、不确定、不确知系统的控制问题开辟了新途径。
神经网络的发展历程经过四个阶段。
（1）启蒙期（1890-1969年）
1890年，W.James发表专著《心理学》，讨论了脑的结构和功能。1943年，心理学家W.S.McCulloch和数学家W.Pitts提出了描述脑神经细胞动作的数学模型，即M-P模型（第一个神经网络模型），他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。1949年，心理学家Hebb实现了对脑细胞之间相互影响的数学描述，从心理学的角度提出了至今仍对神经网络理论有着重要影响的Hebb学习法则。1958年，E.Rosenblatt提出了描述信息在人脑中贮存和记忆的数学模型，即著名的感知机模型（Perceptron）。1962年，Widrow和Hoff提出了自适应线性神经网络，即Adaline网络，并提出了网络学习新知识的方法，即Widrow和Hoff学习规则（即δ学习规则），并用电路进行了硬件设计。
（2）低潮期（1969-1982）
受当时神经网络理论研究水平的限制，简单的线性感知器无法解决线性不可分的两类样本的分类问题，如简单的线性感知器不可能实现“异或”的逻辑关系等，加之受到冯·诺依曼式计算机发展的冲击等因素的影响，神经网络的研究陷入低谷。但在美、日等国仍有少数学者继续着网络模型和学习算法的研究，提出了许多有意义的理论和方法。例如，1969年，Grossberg提出了复杂的ART神经网络。1972年，Kohonen提出了自组织映射的SOM模型。
3）复兴期（1982-1986）
1982年，美国物理学家Hoppield提出了Hoppield神经网络模型，该模型通过引入能量函数，给出了网络稳定性判断， 实现了问题优化求解，1984年他用此模型成功地解决了旅行商路径优化问题(TSP)。这一成果的取得使神经网络的研究取得了突破性进展。
在1986年，在Rumelhart和McCelland等出版的《Parallel Distributed Processing》一书中，提出了一种著名的多层神经网络模型，即BP网络，该网络是迄今为止应用最普遍的神经网络，已被用于解决大量实际问题。
（4）新连接机制时期（1986-现在）
1988年，Broomhead和Lowe在所发表的论文“Multivariable functional interpolation and adaptive networks”中初步探讨了RBF用于神经网络设计与应用于传统插值领域的不同特点， 进而提出了一种三层结构的RBF神经网络。
深度学习的概念由Hinton等人于2006年提出，其概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。
神经网络从理论走向应用领域，出现了神经网络芯片和神经计算机。神经网络的主要应用领域有：模式识别与图象处理（语音、指纹、故障检测和图象压缩等）、控制与优化、预测与管理（市场预测、风险分析）、通信等。
2. 神经网络原理
神经生理学和神经解剖学的研究表明，人脑极其复杂，由一千多亿个神经元交织在一起的网状结构构成，其中大脑皮层约140亿个神经元，小脑皮层约1000亿个神经元。
人脑能完成智能、思维等高级活动，为了能利用数学模型来模拟人脑的活动，导致了神经网络的研究。
单个神经元的解剖图如图所示，神经系统的基本构造是神经元(神经细胞)，它是处理人体内各部分之间相互信息传递的基本单元。
每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支—树突组成。轴突的功能是将本神经元的输出信号(兴奋)传递给别的神经元，其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。树突的功能是接受来自其它神经元的兴奋。神经元细胞体将接收到的所有信号进行简单地处理后，由轴突输出。神经元的轴突与另外神经元神经末梢相连的部分称为突触。
神经元由三部分构成：
（1）细胞体（主体部分）：包括细胞质、细胞膜和细胞核；
（2）树突：用于为细胞体传入信息；
（3）轴突：为细胞体传出信息，其末端是轴突末梢，含传递信息的化学物质；
（4）突触：是神经元之间的接口（104~105个/每个神经元）。
通过树突和轴突，神经元之间实现了信息的传递。
神经网络的研究主要分为三个方面的内容，即神经元模型、神经网络结构和神经网络学习算法。
3. 神经网络的分类
人工神经网络是以数学手段来模拟人脑神经网络的结构和特征的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络，从而实现对生物神经网络的模拟和近似。
目前神经网络模型的种类相当丰富，已有近40余种神经网络模型，其中典型的有多层前向传播网络（BOP网络）、Hopfield网络、CMAC小脑模型、ART自适应共振理论、BAM双向联想记忆、SOM自组织网络、Blotzman机网络和Madaline网络等。
根据神经网络的连接方式，神经网络可分为三种形式：
(1) 前向网络
如图所示，神经元分层排列，组成输入层、隐含层和输出层。每一层的神经元只接受前一层神经元的输入。输入模式经过各层的顺次变换后，由输出层输出。在各神经元之间不存在反馈。感知器和误差反向传播网络采用前向网络形式。这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。BP网络是一种典型的前向网络。
(2) 反馈网络
网络结构如图所示，该网络结构在输出层到输入层存在反馈，即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈。这种神经网络是一种反馈动力学系统，它需要工作一段时间才能达到稳定。Hopfield神经网络是反馈网络中最简单且应用最广泛的模型，它具有联想记忆的功能，如果将Lyapunov函数定义为寻优函数，Hopfield神经网络还可以解决寻优问题。
(3) 自组织网络
网络结构如图所示。Kohonen网络是最典型的自组织网络。Kohonen认为，当神经网络在接受外界输入时，网络将会分成不同的区域，不同区域具有不同的响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，从而形成一种拓扑意义上的特征图，该图实际上是一种非线性映射。这种映射是通过无监督的自适应过程完成的，所以也称为自组织特征图。Kohonen网络通过无导师的学习方式进行权值的学习，稳定后的网络输出就对输入模式生成自然的特征映射，从而达到自动聚类的目的。
4. 神经网络学习算法
神经网络学习算法是神经网络智能特性的重要标志，神经网络通过学习算法，实现了自适应、自组织和自学习的能力。
目前神经网络的学习算法有多种，按有无监督分类，可分为有监督学习（Supervised Learning）、无监督学习（Unsupervised Learning）和强化学习（Reinforcement Learning）等几大类。
在有监督的学习方式中，网络的输出和期望的输出（即监督信号）进行比较，然后根据两者之间的差异调整网络的权值，最终使差异变小，如图所示。
在无监督的学习方式中，输入模式进入网络后，网络按照一预先设定的规则（如竞争规则）自动调整权值，使网络最终具有模式分类等功能，如图所示。
下面介绍两个基本的神经网络学习算法。
(1) 智能Hebb学习规则
Hebb学习规则是一种联想式学习算法。生物学家D.O.Hebbian基于对生物学和心理学的研究，认为两个神经元同时处于激发状态时，它们之间的连接强度将得到加强，这一论述的数学描述被称为Hebb学习规则，即
其中，wij(k)为连接从神经元i到 j神经元的当前权值，Ii 和Ij 为神经元的激活水平。
Hebb学习规则是一种无监督的学习方法，它只根据神经元连接间的激活水平改变权值，因此，这种方法又称为相关学习或并联学习。
(2) Delta（δ）学习规则
假设误差准则函数为：
其中，dp 代表期望的输出（监督信号）；yp 为网络的实际输出，
；W为网络所有权值组成的向量：
Xp 为输入模式：
其中训练样本数为
神经网络学习的目的是通过调整权值W，使误差准则函数最小。可采用梯度下降法来实现权值的调整，其基本思想是沿着E 的负梯度方向不断修正W 值，直到E 达到最小，这种方法的数学表达式为：
其中
令
，则
W 的修正规则为
上式称为δ学习规则，又称误差修正规则。
5. 神经网络的特征及要素
神经网络具有以下几个特征：
（1）能逼近任意非线性函数；
（2）信息的并行分布式处理与存储；
（3）可以多输入、多输出；
（4）便于用超大规模集成电路或光学集成电路系统实现，或用现有的计算机技术实现；
（5）能进行学习，以适应环境的变化。
神经网络具有以下三个要素：
（1）神经元（信息处理单元）的特性；
（2）神经元之间相互连接的拓扑结构；
（3）为适应环境而改善性能的学习规则。
6. 神经网络控制的研究领域
(1) 基于神经网络的系统辨识
① 将神经网络作为被辨识系统的模型，可在已知常规模型结构的情况下，估计模型的参数。
② 利用神经网络的线性、非线性特性，可建立线性、非线性系统的静态、动态、逆动态及预测模型，实现非线性系统的建模和辨识。
(2) 神经网络控制器
神经网络作为实时控制系统的控制器，对不确定、不确知系统及扰动进行有效的控制，使控制系统达到所要求的动态、静态特性。
(3) 神经网络与其他算法相结合
将神经网络与专家系统、模糊逻辑、遗传算法等相结合，可设计新型智能控制系统。
(4) 优化计算
在常规的控制系统中，常遇到求解约束优化问题，神经网络为这类问题的解决提供了有效的途径。 目前，神经网络控制已经在多种控制结构中得到应用，如PID控制、模型参考自适应控制、前馈反馈控制、内模控制、预测控制、模糊控制等。