人工智能奠基者,通信祖师爷:艾尔伍德·香农
人工智能奠基者,通信祖师爷:艾尔伍德·香农
1916年,正值一战热火朝天之际,一个男婴在美国密歇根州佩托斯基呱呱坠地。他就是“信息论之父”——克劳德·艾尔伍德·香农(Claude Elwood Shannon)。
他的一生不曾手握诺贝尔奖杯。他的名字也不如牛顿、爱因斯坦般响彻。但他为现代信息时代开创了先河,奠定了整个通信设施的基础,成功将世界带入了信息时代。
同时,他还是一位数学家、发明家、计算机科学家和密码学家,甚至是杂耍家、象棋大师。他将枯燥的科学转变为玩乐的游戏,将理论带入现实。
可以说,如果没有香农,就没有我们如今在互联网发的每一条消息,看的每一条视频,加载的每一个网页。
今天我们就来了解通信祖师爷香农的人生。
早年生活
香农从小生活在密歇根州一个名叫盖洛德的小镇。他的父亲是一位商人,并曾一度担任盖洛德的遗嘱认证法官。母亲是语言学的老师,曾任盖洛德高中的校长。父亲是美国东北地区新泽西州定居者的后裔,母亲是德国移民的后裔。
在这样的家庭中出生,教育自然不差。
他最优秀的学科就是科学和数学。在8岁的时候他就可以辅导姐姐做高等数学作业了。而姐姐在大学毕业后还成为了一名数学教授。
除此之外,他还非常喜欢搞发明,在家中制作了模型飞机、无线电控制的模型船,其中一个发明无线电报系统,甚至可以发送到半英里左右的朋友家。
爱发明这一点,似乎和他的爷爷有关。他爷爷就是一位农场主兼发明家,发明过洗衣机和很多农用机械,还申请并持有过美国的专利。而且香农还有一个远房亲戚,也很喜欢搞发明,这位亲戚就是爱迪生。
信息论的奠基
香农人生前 16 年的大部分时间都是在盖洛德度过的。1932年,从盖洛德高中毕业后,香农进入了密歇根大学学习,也是在这里他接触到了布尔理论,为他后续发表的《信息论》奠定基础。1936年,他顺利从大学毕业,并获得了数学和电子工程双学位。不久后,香农又进入了麻省理工学院继续深造。
在此期间,他有幸参与了有“信息时代的教父”之称的万尼瓦尔·布什的微分分析机相关工作。而微分分析机是一种模拟计算机,被认为是现代计算机的鼻祖。
1938年,他发表了硕士论文《继电器和开关电路的符号分析》(A Symbolic Analysis of Relay and Switching Circuits)。在这篇论文中,香农证明了布尔代数和二进制算术可以简化当时在电话交换系统中广泛应用的机电继电器的设计。该论文虽只是硕士论文,但却具有划时代的意义,它完全取代了以前盛行的Ad-Hoc(点对点)方法,成为数字电路设计的理论基石。
香农硕士毕业论文
由于这篇论文,香农被授予了美国Alfred Noble协会美国工程师奖。哈佛大学的霍华德·加德纳称该论文“可能是本世纪最重要、最著名的硕士学位论文”。
跨界思考者
不仅在电子工程和数学界适用,该论文还跨界到了生物遗传学。在万尼瓦尔·布什的建议下,香农将类似的数学方法应用于孟德尔遗传学,用线性代数描述不同遗传性状在遗传中的可能性。写出了《理论遗传学代数》(An Algebra for Theoretical Genetics)。
虽然这篇理论在当时并没有被生物界大规模使用,但凭此论文,1940年香农获得了麻省理工学院博士学位。同时,成为了普林斯顿高等研究院的研究员。在那里,香农有了机会与很多极具影响力的科学家和数学家,包括爱因斯坦、冯·诺伊曼等交流。
当时正值二战爆发时期,很快香农又被调到了贝尔实验室,研究火力控制系统和密码学。在这里,香农遇到了他携手一生的第二任妻子贝蒂(Betty),时任数值分析员。贝蒂也是一位有着超凡数学计算能力的天才,两人于1949年结婚。(第一任妻子是一位犹太左翼知识分子诺玛·莱沃尔,两人于1940年结婚,大约一年后,就以离婚告终。)
香农和妻子贝蒂
也是在此期间,他发现了通信理论和密码学的见解是同时发展的,现代信息论的思想也逐渐在他脑海中成型。
1942 年香农在研究模拟计算机的功能操作时发现了拓扑增益公式,从而发明了信号流图。
1945年,战争即将结束,他向贝尔实验室提交了一份备忘录——《密码学的一个数学理论》。该论文的解密版本于1949年出版在贝尔系统技术杂志上,名为《保密系统的通信理论》。这篇论文后来也纳入了他的《通信的数学理论》中。
《通信的数学理论》发布
1948年,32岁的香农将《通信的数学理论》分成两部分,在7月和10月的贝尔系统技术杂志上发表。文章系统论述了信息的定义,怎样数量化信息,怎样更好地对信息进行编码。
在论文中,香农给出了通信系统的基本模型,提出了信息熵的概念及数学表达式。指出信息是可以被量化的,可以用数字编码代表任何类型的信息。
他还提出了“比特”的概念,称之为“用于测量信息的单位”。比特是二进制数字中的位,信息量的度量单位,为信息量的最小单位,是计算机设计思想的基石。大名鼎鼎的香农公式也是出自该论文中。
香农公式
《通信的数学理论》的发布奠定了信息论的基础,对学术界造成了巨大的震动。丝毫不亚于,同样来自贝尔实验室的第一颗晶体管问世(1947年)带来的震撼。此后,随着信息技术的迅速发展,信息论的价值愈发凸显,香农也确立了自己“信息与通信鼻祖”的地位。
具不完全统计,该论文被引用到包括电气电子工程、计算机、通信、人工智能、数学、物理、统计学、环境等学科中,为众多领域的发展做出了奠基性理论贡献。
1956年,香农回到麻省理工学院,在电子研究实验室 (RLE)工作,同时在麻省理工学院任教直至1978年。
爱杂耍的发明家(人工智能奠基者)
除了学术研究之外,香农平时还喜欢玩杂耍、骑独轮脚踏车和下象棋,以及自制的各种古怪发明。比如喷火喇叭,火箭动力飞盘、装了发动机的弹簧高跷杖等各种杂耍机,以及罗马数字计算机、可以解魔方的设备。
1950年时,香农发表了一篇《计算机下棋程序》(Programming a computer for playing chess)的论文,他利用计算机编程尝试分析和解决国际象棋游戏,构建了“弈棋机”,甚至预言总有一天计算机会击败世界冠军。
香农和他的国际象棋机
同年,他还设计了一种有机电继电器电路控制的机械老鼠——忒修斯(Theseus)。这种机械老鼠能在迷宫中移动,通过尝试不同的道路最终找到出口。如果将它放在不熟悉的领域,它就会自我学习,直到找到出口。有报道认为这是第一个人工学习设备。
机械老鼠忒修斯(Theseus)
据悉,在1943年时艾伦·图灵还曾来到贝尔实验室研究和学习。两人还有过短暂的交流学习。图灵向香农介绍了现在被称为“通用图灵机”(影响了现代计算机和人工智能的发展)的概念。香农发现其理念和与自己十分契合,甚至补充了自己的想法。比如能否让机器像人类那样产生智能。
几年后,也就是1950 年,图灵提出了判定机器是否具有智能的方法——图灵测试。1956年,香农则和麦卡赛、明斯基、罗切斯特等9位科学家一起,首次提出了“人工智能”这一术语。
同时,香农当年还是投资大师,擅于采用套利的手法,快速赚取财富。甚至为此发明了第一台用来预测轮盘结果的可穿戴计算机。1986年8月11日,著名的《巴伦周刊》曾汇总了1026家共同基金的近期表现,香农位列第一名。
香农后来称自己的不少发明“有趣但毫无用处”。他表示“我常常凭着自己的兴趣做事,不太看重他们最后产生的价值,更不在乎这事儿是否对世界带来价值,我花了大量的时间在完全无用的事情上”。
到了晚年时期,香农对杂耍这类游戏的热爱更是到了痴迷的地步。他花了很多时间刻苦练习,不断提高杂耍水平。他甚至还有一张杂耍学博士证书。并特意为其撰写《统一的杂耍场理论》
然而,因患上阿尔茨海默症,这篇作品最终并没有完成。2001年,85岁的香农去世,留下了妻子、一个儿子和一个女儿以及两个孙女。
玩杂耍的香农
后世影响与评价
参与编辑香农大量论文的研究员尼尔·斯隆称:“他是本世纪最伟大的人之一。没有他,我们今天所知道的一切都不会存在。整个数字革命都是从他开始的。”香农的信息论引入的视角是数字革命的基础,每一个包含微处理器或微控制器的设备都是香农1948年发表的论文在概念上的延续。
香农传记《玩耍的心灵》的作者吉米·索尼和罗布·古德曼,形容香农是“你从未听说过的最重要的天才,他的智力与阿尔伯特·爱因斯坦和艾萨克·牛顿不相上下。”
贝尔实验室的香农塑像
1973年,电气与电子工程师协会(IEEE)命名了“香农奖”,旨在表彰对信息理论领域做出持续而深远贡献的人,并把这第一届奖项授于了香农本人。香农奖也成为了信息论领域的最高荣誉,也被称为“信息领域的诺贝尔奖”。
香农的一生,除了给数学、通信领域带来丰富成果,在计算机、密码学、人工智能等领域,皆产生了深远影响。可以说如今几乎每个前瞻性的创新,都离不开这位“科学巨人”的感染。