克劳德·香农

　　克劳德·香农，美国数学家，信息论的创始人。1916年4月30日出生于美国密歇根州的加洛德（Petoskey），1936年毕业于密歇根大学并获得数学和电子工程学士学位，1940年获得麻省理工学院（MIT）数学博士学位和电子工程硕士学位。1941年他加入贝尔实验室数学部，工作到1972年。1956年他成为麻省理工学院（MIT）客座教授，并于1958年成为终生教授，1978年成为名誉教授。香农博士于2001年2月26日去世，享年84岁。

　　克劳德·香农-人物介绍

　　克劳德·香农（Claude Elwood Shannon，1916-2001）

　　1916年4月30日诞生于美国密西根州的Petoskey。在Gaylord小镇长大，当时镇里只有三千居民。父亲是该镇的法官，他们父子的姓名完全相同，都是Claude Elwood Shannon。母亲是镇里的中学校长，姓名是Mabel Wolf Shannon。他生长在一个有良好教育的环境，不过父母给他的科学影响好像还不如祖父的影响大。香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，这对香农的影响比较直接。此外，香农的家庭与大发明家爱迪生（Thomas Alva Edison，1847-1931）还有远亲关系。

　　香农的大部分时间是在贝尔实验室和MIT（麻省理工学院）度过的。在“功成名就”后，香农与玛丽（Mary Elizabeth Moore）1949年3月27日结婚，他们是在贝尔实验室相识的，玛丽当时是数据分析员。他们共有四个孩子：三个儿子Robert、James、Andrew Moore和一个女儿Margarita Catherine。后来身边还有两个可爱的孙女。

　　2001年2月24日，香农在马萨诸塞州Medford辞世，享年85岁。贝尔实验室和MIT发表的讣告都尊崇香农为信息论及数字通信时代的奠基人。

　　1936年香农在密西根大学获得数学与电气工程学士学位，然后进入MIT念研究生。

　　1938年香农在MIT获得电气工程硕士学位，硕士论文题目是《A Symbolic Analysis of Relay and Switching Circuits》（继电器与开关电路的符号分析）。他已经注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示。于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基础。哈佛大学的Howard Gardner教授说，“这可能是本世纪最重要、最著名的一篇硕士论文。”

　　1940年香农在MIT获得数学博士学位，而他的博士论文却是关于人类遗传学的，题目是《An Algebra for Theoretical Genetics》（理论遗传学的代数学）。这说明香农的科学兴趣十分广泛，后来他在不同的学科方面发表过许多有影响的文章。

　　在读学位的同时，他还用部分时间跟温尼法·布什（Vannevar Bush）教授进行微分分析器的研究。这种分析器是早期的机械模拟计算机，用于获得常微分方程的数值解。1941年香农发表了《Mathematical theory of the differential analyzer》（微分分析器的数学理论），他写道：“大多数结果通过证明的定理形式给出。最重要的是处理了一些条件，有些条件可以生成一个或多个变量的函数，有些条件可使常微分方程得到解。还给出了一些注意事项，给出求函数的近似值（不能产生精确值）、求调整率的近似值以及自动控制速率的方法。”

　　1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司，并在贝尔实验室工作到1972年，从24岁到55岁，整整31年。1956年他当了MIT的访问教授，1958年成为正式教授，1978年退休。


　　克劳德·香农-学术工作

　　人们描述香农的生活，白天他总是关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。他的同事D. Slepian写到：“我们大家都带着午饭来上班，饭后在黑板上玩玩数学游戏，但克劳德很少过来。他总是关起门来工作。但是，如果你要找他，他会非常耐心地帮助你。他能立刻抓住问题的本质。他真是一位天才，在我认识的人中，我只对他一人使用这个词。”

　　香农与John Riordan一起工作，1942年发表了一篇关于串并联网络的双终端数的论文。这篇论文扩展了麦克马洪（Percy A. MacMahon，1854-1929）1892年在Electrician上发表的论文理论。1948年则创立了信息论（information theory）。

　　在漫长的岁月，他思考过许多问题。除在普林斯顿高等研究院工作过一年外，主要都在MIT和Bell Lab度过。需要说明的是，在二次世界大战时，香农博士也是一位著名的密码破译者（这使人联想到比他大4岁的图灵博士）。他在Bell Lab的破译团队主要是追踪德国飞机和火箭，尤其是在德国火箭对英国进行闪电战时起了很大作用。1949年香农发表了另外一篇重要论文《Communication Theory of Secrecy Systems》（保密系统的通信理论），正是基于这种工作实践，它的意义是使保密通信由艺术变成科学。

　　1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。论文由香农和威沃共同署名。前辈威沃（Warren Weaver，1894-1978）当时是洛克菲勒基金会自然科学部的主任，他为文章写了序言。后来，香农仍然从事技术工作，而威沃则研究信息论的哲学问题。

　　这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现”。这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。此后，通信就考虑为把电磁波发送到信道中，通过发送1和0的比特流，人们可以传输图像、文字、声音等等。他建立的信息理论框架和术语已经成为技术标准。他的理论在通信工程师中立即获得成功，并刺激了信息时代所需要的技术发展。

　　香农考虑的信息源，产生由有限符号组成的词。它们通过信道进行传输，每个符号开销有限的信道时间。这里涉及到统计学问题，如果xn是第n个符号，它是由固定随机过程源xn产生的，香农给出一个分析信号误差序列的方法，它是传输系统固有的，可以通过设计相应的控制系统控制它。

　　在这篇论文中，香农首次引入“比特”（bit）一词，如果在信号中附加额外的比特，就能使传输错误得到纠正。按照物理学的习惯，把电流单位叫做“安培”，如果给“比特流”一个单位名，那么叫做“香农”是比较合适的。

　　通信的数学理论是香农在数学与工程研究上的顶峰。他把通信理论的解释公式化，对最有效地传输信息的问题进行了研究。香农的文章立即被世界各国的通信工程师和数学家采用，大家详细地论述它、扩展它、完善它。这个学科立刻繁荣起来，成为科学史上光辉灿烂的一页。后来，香农感到由他扮演重要角色而开始与通信革命走得有些过远。他写道：“信息理论可能像一个升空的气球，其重要性超过了它的实际成就”。

　　克劳德·香农-获奖与荣誉

　　美国Alfred Noble协会美国工程师奖 1940年
　　Morris Liebmann 无线电工程师协会Memorial奖章 1949年
　　耶鲁大学 (首席科学家) 1954年
　　Stuart Ballantine弗兰克林协会奖章 1955年
　　研究合作奖 1956年
　　密歇根大学 荣誉博士 1961年
　　莱斯大学 荣誉奖章1962年
　　普林斯顿大学 荣誉博士 1962年
　　Marvin J. Kelly Award 1962年
　　爱丁堡大学 荣誉博士 1964年
　　匹兹堡大学 荣誉博士 1964年
　　电子电气工程师协会 荣誉奖章 1966年
　　美国国家科学奖章 1966年 由前总统Lyndon B. 约翰逊颁发
　　Golden Plate Award 1967年
　　美国西北大学，荣誉博士 1970年
　　Harvey Prize，the Technion of Haifa,，以色列 1972年
　　牛津大学 荣誉博士 1978年
　　Joseph Jacquard奖 1978年
　　Harold Pender奖 1978年
　　东英格伦大学, 荣誉博士 1982年
　　卡内基梅隆大学 荣誉博士 1984年
　　美国声频技术协会 金奖 1985年
　　Kyoto Prize 1985年
　　塔夫斯大学 荣誉博士 1987年
　　宾夕法尼亚大学 荣誉博士 1991年
　　Eduard Rhein Prize 1991年

　　克劳德·香农-主要贡献

　　香农在普林斯顿高级研究所（The Institute for Advanced Study at Princeton）期间，开始思考信息论与有效通信系统的问题。从1948年6月到10月，香农在《贝尔系统技术杂志》（Bell System Technical Journal）上连载发表了影像深远的论文《通讯的数学原理》。1949年，香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中，香农解决了过去许多悬而未决的问题：阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的基础性理论著作。那时，他才不过刚刚三十出头。

　　香农的成就轰动了世界，激起了人们对信息论的巨大热情，它向各门学科冲击，研究规模像滚雪球一样越来越大。不仅在电子学的其他领域，如计算机、自动控制等方面大显身手，而且遍及物理学、化学、生物学、心理学、医学、经济学、人类学、语音学、统计学、管理学……等学科。它已远远地突破了香衣本人所研究和意料的范畴，即从香农的所谓“狭义盾息论”发展到了“广义信息论”。 香农一鸣惊人，成了这门新兴学科的奠基人。20世纪80年代以来，当人们在议论未来的时候，人们的注意力又异口同声的集中到信息领域。按照国际一种流行的说法，未来将是一个高度信息化的社会。信息工业将发展成头号工业，社会上大多数的人将是在从事后息的生产、加工和流通。这时，人们才能更正确地估价香农工作的全部含义。信息论这个曾经只在专家们中间流传的学说，将来到更广大的人群之中。香农这个名字也飞出了专家的书斋和实验室，为更多的人所熟悉和了解。

　　香农被尊称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《通信的数学原理》作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了熵的定义：


　　这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵的概念量度的是消息中所含的信息量，而去除了消息中固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。

　　信息论中熵的概念与物理学中的熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。

　　互信息（Mutual Information）是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为：


　　其中 H（X，Y） 是共有熵（Joint Entropy），其定义为：