人工神经网络初窥

      人工神经网络（Artificial Neural Network，简称ANN ），以数学模型模拟神经元活动，是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统。人工神经网络具有自学习、自组织、自适应以及很强的非线性函数逼近能力，拥有强大的容错性。它可以实现仿真、预测以及模糊控制等功能。是处理非线性系统的有力工具。（摘自百度百科）           关于神经网络的定义尚不统一，按美国神经网络学家 Hecht Nielsen 的观点，神经网络的定义是：“神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算机系统，该系统靠其状态对外部输入信息的动态响应来处理信息”。综合神经网络的来源﹑特点和各种解释，它可简单地表述为：人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统[1]。

人工神经网络发展过程大致可以概括为如下 3 个阶段：     

        第一阶段——启蒙时期（1943 年）：

        神经生物学家McCulloch W.S.和青年数学家 Pitts W.A.合作，提出了第一个人工神经元模型-----神经元的阀值模型，简称 MP 模型。神经生物学家 Hebb 于 1949 年提出了连接权值强化的 Hebb 法则 。神经元之间突触的联系强度是可变的，这种可变性是学习和记忆的基础。Hebb 法则为构造有学习功能的神经网络模型奠定了基础。

       1952 年英国生物学家Hodgkin 和 Huxley 建立了著名的长枪乌贼巨大轴索非线性动力学微分方程，即 H-H 方程。这一方程可用来描述神经膜中所发生的非线性现象如自激震荡、 混沌及多重稳定性等问题，所以有重大的理论与应用价值。 

　　1954 年，生物学家 Eccles 提出了真实突触的分流模型，这一模型由于通过突触的电生理实验得到证实，因而为神经网络模拟突触的功能提供了原型和生理学的证据。 

　　1960 年 Widrow 和 Hoff 提出了 ADALINE 网络模型，这是一种连续取值的自适应线性神经元网络模型，可以用于自适应系统。

        第二阶段——低潮时期（1969 年）：

　　人工智能的创始人之一 Minsky 和 Papert 对以感知器为代表的网络系统的功能及局限性从数学上做了深入研究。1969 年发表了轰动一时《Perceptrons》一书，指出简单的线性感知器的功能是有限的，它无法解决线性不可分的两类样本的分类问题，如简单的线性感知器不可能实现“异或”的逻辑关系等。

　　1976 年，美国 Grossberg 教授提出了著名的自适应共振理论 ART(Adaptive Resonance Theory)，其学习过程具有自组织和自稳定的特征。其后的若干年中，他与 Carpenter 一起研究了 ART 网络[11]，并有 ART1﹑ ART2 和 ART3 三个 ART 系统的版本， ART1 网络只能处理二值的输入， ART2 比 ART1 复杂并且能处理连续型输入。 ART3 网络纳入了生物神经元的生物电-化学反应机制，其结构更接近人脑的工作过程。

　　1972 年，有两位学者分别在欧洲和美洲异地发表了类似的神经网络开发结果。一位是芬兰的 Kohonen T.教授，提出了自组织神经网络 SOM(Self-Organizing feature map)。另一位是美国的神经生理学家和心理学家 Anderson J.，提出了一个类似的神经网络，称为“交互存储器”。后来的神经网络主要是根据 Kohonen T.的工作来实现的。SOM 网络是一类无导师学习网络，主要用于模式识别﹑语音识别及分类问题。它采用一种“胜者为王”的竞争学习算法，与先前提出的感知器有很大的不同，同时它的学习训练方式是无指导训练，是一种自组织网络。这种学习训练方式往往是在不知道有那些分类类型存在时，用作提取分类信息的一种训练。

      第三阶段——复兴时期（1982 年）：

　　美国国家科学院的刊物上发表了著名的 Hopfield 模型的理论。

　　同年， Marr 开辟了视觉和神经科学研究的新篇章，即提出Marr视觉处理模型。

　　1983 年， Kirkpatrick 等人认识到模拟退火算法可用于 NP 完全组合优化问题的求解，这种模拟高温物体退火过程来找寻全局最优解的方法最早由 Metropli 等人 1953 年提出的。

        学习 (或训练)方式可分为两种，一种是有监督(supervised)或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是无监督(unsupervised)学习或称无导师学习 ，这时，只规定学习方式或某些规则，而具体的学习内容随系统所处环境(即输入信号情况)而异，系统可以自动发现环境特征和规律性，具有更近似于人脑的功能。

人工神经网络与人脑以及冯·诺依曼计算机相比有如下特点：

（1）大规模并行处理

   人脑神经元之间传递脉冲信号的速度远低于冯·诺依曼计算机的工作速度，前者为毫秒（10**9Hz）量级，后者的时钟频率通常可达 10**8Hz 或更高的速率。但是，由于人脑是一个大规模并行与串行组合处理系统，因而在许多问题上可以做出快速判断、决策和处理，其速度可以远高于串行结构的冯·诺依曼计算机。人脑具有并行处理的特征，可以大大提高工作速度。

（2）分布式存储   

   人脑存储信息的特点是利用突触效能的变化来调整存储内容，也即信息储存在神经元之间连接强度的分布上，存储区与运算区合为一体。冯·诺依曼计算机具有相互独立的存储器和运算器，知识存储与数据运算互不相关，只有通过人的编程给出指令使之沟通

（3）自适应(学习 )过程

   人工神经网络也具有初步的自适应与自组织能力。在学习和训练过程中改变突触权重值，以适应周围环境的要求。?

 人工神经网络的基本功能

  1． 联想记忆功能

   由于神经网络具有分布存储信息和并行计算的性能，因此它具有对外界刺激和输入信息进行联想记忆的能力。

   神经网络通过预先存储信息和学习机制进行自适应训练，可以从不完整的信息和噪声干扰中恢复原始的完整的信息。

联想记忆又分自联想记忆和异联想记忆两种：自联想记忆（ Associative memory），异联想记忆（ Hetero-associative memory）。

  2． 分类与识别功能

   神经网络对外界输入样本有很强的识别与分类能力。对输入样本的分类实际上是在样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。

人工神经网络