机器学习发展历程：知识推理、知识工程到深度学习

机器学习发展历程：知识推理、知识工程到深度学习

机器学习作为当今科技领域最热门的话题之一，其发展历程充满了里程碑式的创新和突破。从最初的神经元模型到深度学习的兴起，机器学习经历了多个重要阶段。本文将带你回顾机器学习发展的三大历史时期：知识推理期、知识工程期和学习期（浅层学习和深度学习），通过具体的时间节点和代表性事件，展现这一领域的演进历程。

第一个时期：知识推理期

1943

1943年，神经科学家和控制论专家Warren McCulloch（沃伦·麦卡洛克）与逻辑学家Walter Pitts（沃尔特·皮茨）基于生物神经元的工作机制提出了MP模型。

这个算法里面，f 被称为称为激活函数(Activation Function)或转移函数(Transfer Function)，用来提供非线性表达能力。

• x就是输入信号；
• y是输出信号；
• w是权值；
• theta（θ）是阈值。

当你的输入值加权后，大于阈值时，神经元输出y的值就是1，神经元处于激活状态；相反，当你的小于阀值时，神经元输出y为0，神经元处于抑制状态。这个就是激活函数的简单原理。

1950

1950年，艾伦·图灵提出非常有名的图灵测试。图灵测试就是一个思想实验。

意思就是，在测试者与被测试者（一个人和一台机器）隔开的情况下，通过一些装置（如：键盘）向被测试者随意提问。进行多次测试后，如果有超过30%的测试者不能确定出被测试者是人还是机器的时候，那么这台机器就通过了测试，并被认为具有人类智能。现在的人工智能研究里面，基本上不会把通过图灵测试作为重点。但是，图灵测试还没有过时，到目前为止，仍然是聊天机器人和数字助理常用的基准。

1954年

乔治城 - IBM实验：

1954年1月7号，乔治城大学和IBM联手演示了，把60句俄语自动翻译成英语。因为当时翻译对军队最有用，所以首批翻译的内容包括有机化学（用于核发展），政治，法律和军事等主题。包含6个语法规则和250个词。这个实验，展示了机器翻译的潜能。这个实验之后，美国政府也开始加大对计算语言学领域的资金投入。

1956年

1956年8月31日，约翰·麦卡锡等4个人发起了一个提案：达特矛斯夏季人工智能研究计划（英语：Dartmouth Summer Research Project on Artificial Intelligence）

这个提案就是为了召集志同道合的人共同讨论“人工智能”（人工智能概念就是在这个时候首次提出）。一共10个人参加了那次会议。这个会议持续了一个月，也催生了后来的人工智能革命。

1957年

Frank Rosenblatt（弗兰克·罗森布拉特），在1957年，就职于康奈尔航空实验室（Cornell Aeronautical Laboratory）的时候，发明了一种人工神经网络（叫做感知器）。它是一种最简单形式的前馈神经网络，是一种二元线性分类器。

感知机其实就是生物神经细胞的简单抽象。高中学生物的时候学过：神经细胞结构大概可分为：树突、突触、细胞体及轴突。

神经细胞一共有两种状态：激动时和未激动时。它的状态取决于，它从其它的神经细胞收到的输入信号量。当信号量总和超过了某个阈值时，细胞体就会激动，产生电脉冲。为了模拟神经细胞行为，弗兰克就提出了感知机的概念：概念里面包含了，权量（突触）、偏置（阈值）、激活函数（细胞体）。在人工神经网络领域里面，感知机也叫做单层的人工神经网络（当然也有：多层感知机）。单层的，尽管结构比较简单，感知机也是能够学习，并且解决相当复杂的问题。感知机主要的缺陷是它不能处理线性不可分问题（因为它是二元线性分类器）。

1964-1966年

1964-1966年，Joseph Weizenbaum （约瑟夫·魏岑鲍姆）创建了ELIZA（爱丽莎），是一个聊天机器人。也是第一个通过图灵测试的聊天机器人。ELIZA当时是麻省理工学院的人工智能实验室创建的，它是一个早期的自然语言处理计算机程序。’

Eliza 目的就是为了展示人与机器之间交流的肤浅性。肤浅的原因，就是这个程序运用了一种人的心理作用，就是对话引导。意思就是，「Eliza」可以根据提问的内容，自己重复一遍，或是针对提问的关键字词进行回答。所以，ELIZA一定程度上就可以回答到提问者内心预期的答案，就会让有些提问者认为ELIZA是真人。大家现在听起来可能觉得这个程序有点笨（或者说，Eliza 的运作原理非常简单）。但是要注意，这个是在1960 年代，能在电脑上和机器人聊天是一件挺神奇的事情的。当时，Joseph把这种情况命名为「Eliza」效应，他认为并不是人工智能可以理解人类想法，而是在与人类互动过程中所展现的一种反应，让人类更愿意与机器人互动，甚至相信「Eliza」是真实存在人类。

Joseph的主要想法就是，人工智能终究还是0与1的执行结果，与人脑的情感是完全不同的。所以，与其说是电脑越来越了解人类，不如说是电脑透过大量数据分析，来挖掘了人类偏好内容。所以他说，电脑不可能重现人类一样的情感。大家认同他的想法吗？

第二个时期：知识工程期

20世纪70年代，研究者意识到知识对于人工智能系统的重要性，所以提出了专家系统(Expert System)。专家系统是早期人工智能的一个重要分支，它可以看作是一类具有专门知识和经验的计算机智能程序系统。一个专家系统必须要有三要素：

• (1) 领域专家知识；
• (2) 模拟专家思维；
• (3) 达到专家级水平。

所以，专家系统也被叫做“基于知识的系统”。

1970年

1970年，能够分析语义、理解语言的系统诞生：就是人机对话系统SHRDLU。SHRDLU是由Terry Winograd（特里·威诺格拉德）在麻省理工学院开发的一种，早期的自然语言理解计算机程序（ELIZA是自然语言处理计算机程序）。在这个程式中，用户可以和电脑对话。

SHRDLU是用Lisp编程语言编写的（Lisp是第二古老的高级编程语言，现在的Python和Ruby都有模仿Lisp）。

用户可以指示SHRDLU在“积木世界”中移动各种物体，比如：积木（块体）、锥体、球体等。SHRDLU的世界非常简单，所以大概通过50个英语单词就可以进行描述：

• 名词：如"积木"（block）和"锥体"（cone），
• 动词：如"放置在"（place on）和"移动到"（move to），
• 形容词：如"巨大的"（big）和"蓝色的"（blue）。

这些语言非常简单，所以程式就可以完全的理解用户的意思。SHRDLU被认为是人工智能一次非常成功的演示，原因就是能够正确理解语言。SHRDLU也是文字冒险游戏第一个正式实例。1976年的游戏《巨洞冒险》被认为是文字冒险游戏的第一个真正作品。

专家系统广泛使用

从1976年，专家系统就开始被广泛使用。例子：
1976年，美国斯坦福大学 ，有一位博士叫Edward Shortliffe（爱德华·肖特利夫）的人，发布了医疗咨询系统MYCIN，主要用于对传染性血液病患的诊断。

MYCIN是用 Lisp 编写的。

MYCIN使用自然语言和用户进行对话，回答用户提出的问题，还可以在专家的指导下学习新的医疗知识。这个系统第一次使用了知识库的概念，并且使用了似然推理技术。后来的许多专家系统都是在 MYCIN 的基础上进行研发的。并且，这个系统的模块化结构是非常成功，也推动了贝叶斯网络等等的，图形模型的发展。这一时期还陆续研发出了用于生产制造、财务会计、金融等各领域的专家系统。

第三个时期：学习期（大概从1985年开始）

这个时期一些比较有意思的例子，比如：

1997年

1997年，深蓝（Deep Blue）战胜了当时的国际象棋世界冠军Kasparov（卡斯帕罗夫）。

深蓝是由IBM开发的，专门用来分析国际象棋的超级电脑。它的下棋程序是用C语言写成的。 1997年版本的深蓝运算速度为每秒2亿步棋。1997年6月，深蓝在世界超级电脑中排名第259位。当时这个电脑也有一定的争议，就是卡斯帕罗夫在输了比赛之后，他觉得这个电脑在第二轮比赛的时候，下棋的逻辑和第一轮不一样，所以他怀疑：在第二轮比赛的时候，有人为干预了。所以要求重赛，但是IBM当时拒绝了。然后，2003年的时候，因为这个争议，拍了一部纪录片，名为《游戏结束：卡斯巴罗夫与电脑（Game Over: Kasparov and the Machine）》，大家有兴趣可以看看。

2006年

2006年，杰弗里·辛顿（Geoffrey Hinton）提出深度学习的神经网络。辛顿是多伦多大学教授，是深度学习的积极推动者，被誉为“深度学习之父”。当时，辛顿因为在深度学习方面的贡献，在2018年的时候被授予了图灵奖。辛顿提出的很有名的模型就是：深度信念网络（DBN = Deep Belief Nets），也是深度学习里面非常重要的研究成果。这个模型既可以用于非监督学习，类似于一个自编码机；也可以用于监督学习，作为分类器来使用。

2011年

2011年，Watson（沃森）参加智力问答节目。

沃森是能够使用自然语言，来回答问题的人工智能系统，由IBM公司开发。2011年，沃森参加综艺节目《危险边缘》，来测试它的能力，这是这个节目有史以来第一次人与机器对决。

在对决的3集节目里面，沃森在前两轮中与对手打平，但是在最后一集里，沃森打败了它的两个对手（一个是最高奖金得主，一个是连胜纪录保持者）。当时，沃森赢得了奖金100万美元。

在沃森4TB磁盘里面，包含2亿页结构化和非结构化的信息，其中包括了维基百科的全文。但是，在比赛中沃森没有链接到互联网。

2012年

2012年的，谷歌大脑项目（英语：Google Brain）。这是一个深度学习与人工智能科研项目的团队。谷歌大脑一开始只是Google X的一个研究项目而已，但是因为它收益高，所以脱离了Google X成为了谷歌总公司的单独部门。2012年6月，《纽约时报》报道了一个人工神经网络通过YouTube上的猫的视频，自行训练而能够识别出“猫”，这个人工神经网络是由16000台电脑集群组成的。这个系统集群的目的就是模拟人类大脑活动。2014年1月26日，谷歌并购了英国DeepMind科技公司(DeepMind就是开发了AlphaGo，在围棋比赛里，战胜了当时的世界围棋冠军)。

目前谷歌大脑的技术，主要运用于安卓系统里的语音识别，还有Google+（谷歌社交平台）里的图片搜索功能，还有谷歌的智能视频推荐。谷歌大脑团队的主要研究方向就是(2022年)：机器学习算法和技术、医疗健康、机器学习支撑的电脑系统、机器人、自然语言理解、音乐和艺术创作、知觉仿真（8大的方向）。

总的来说，机器学习是一门不断发展的学科。机器学习的发展主要分为知识推理期、知识工程期、学习期（包括了，浅层学习和深度学习）三个时期。新的机器学习算法面临的主要问题更加复杂，机器学习的应用领域从广度向深度发展，这对模型训练和应用都提出了更高的要求。