AI長路漫漫，很多大咖功不可沒，今天推出新的專欄《AI大咖》，讓我們一起了解AI大牛，認識他們的研究，打聽他們的八卦吧。
今天首“扒”深度學習鼻祖—Geoffrey Hinton，一起走進AI教父的傳奇人生。
作者 | 言有三&小滿
編輯 | 言有三&小滿
1 30秒了解Hinton
Geoffrey Everest Hinton，加拿大認知心理學家和計算機科學家，1947年生人，現年72歲，有兩任妻子，兩個孩子，被譽為”人工智能教父“。
Hinton在劍橋大學獲得實驗心理學學士學位，在愛丁堡大學獲得人工智能博士學位。現任Google副總裁兼工程研究員，同時在多倫多大學教書育人，也是VectorInstitute首席科學顧問。
個人主頁：
http://www.cs.toronto.edu/~hinton/bio.html。
2018年因作為“深度學習領域的三大先驅之一”獲得圖靈獎，被彭博社選為2017年改變全球商業格局的50人。
Hinton率先將反向傳播(Backpropagation)用于多層神經網絡，發明了玻爾茲曼機(Boltzmann machine)，提出逐層初始化預訓練方法揭開了深度學習的序幕，提出了膠囊神經網絡(capsule network)。
Hinton也培養了一批“優秀”的學生，包括：
同獲2018年圖靈獎的Yann LeCun是Hinton的博士后，擔任Facebook人工智能研究院總監。
Brendan Frey是Hinton的博士，DeepGenomics公司創始人和CEO。
Radford Neal是Hinton的博士，R語言的pqR解釋器作者。
Ilya Sutskever是Hinton的博士，DNNresearch的聯合創始人，目前任OpenAI 研究總監。
Alex Krizhevsky是Hinton的博士，AlexNet網絡一作。
2 代表性研究論文
1、反向傳播算法的使用
Rumelhart D E, Hinton G E, Williams R J. Learning representations by back-propagating errors[J]. Cognitive modeling, 1988, 5(3): 1.
2、CNN語音識別開篇TDN網絡
Waibel A, Hanazawa T, Hinton G, et al. Phoneme recognition using time-delay neural networks[J]. Backpropagation: Theory, Architectures and Applications, 1995: 35-61.
3、DBN網絡的學習
Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural computation, 2006, 18(7): 1527-1554.
4、深度學習的開篇
Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. science, 2006, 313(5786): 504-507.
5、數據降維可視化方法t-SNE
Maaten L, Hinton G. Visualizing data using t-SNE[J]. Journal of machine learning research, 2008, 9(Nov): 2579-2605.
6、DBM模型
Salakhutdinov R, Hinton G. Deep boltzmann machines[C]//Artificial intelligence and statistics. 2009: 448-455.
7、ReLU激活函數的使用
Nair V, Hinton G E. Rectified linear units improve restricted boltzmann machines[C]//Proceedings of the 27th international conference on machine learning (ICML-10). 2010: 807-814.
8、RBM模型的訓練
Hinton G E. A practical guide to training restricted Boltzmann machines[M]//Neural networks: Tricks of the trade. Springer, Berlin, Heidelberg, 2012: 599-619.
9、深度學習語音識別開篇Hinton G, Deng L, Yu D, et al. Deep neural networks for acoustic modeling in speech recognition[J]. IEEE Signal processing magazine, 2012, 29.
10、深度學習圖像識別開篇AlexNet
Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012: 1097-1105.
11、權重初始化和Momentum優化方法的研究
Sutskever I, Martens J, Dahl G, et al. On the importance of initialization and momentum in deep learning[C]//International conference on machine learning. 2013: 1139-1147.
12、 Dropout方法提出
Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: a simple way to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research, 2014, 15(1): 1929-1958.
13、三巨頭深度學習綜述LeCun Y, Bengio Y, Hinton G. Deep learning[J]. nature, 2015, 521(7553): 436.
14、蒸餾學習算法
Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[J]. arXiv preprint arXiv:1503.02531, 2015.
15、Capsule Network
Sabour S, Frosst N, Hinton G E. Dynamic routing between capsules[C]//Advances in neural information processing systems. 2017: 3856-3866.
Hinton總的論文引用量為280000+，近年來發表作品較少，但是隨著深度學習研究進步，引用量大幅度增加。
所有的論文，在以下GitHub項目中可以獲取，或者給公眾號發送關鍵詞消息“Hinton”，即可獲得下載鏈接。
https://github.com/longpeng2008/Awesome_DNN_Researchers
3 代表性個人成就
1998年被授予英國皇家學會(Royal Society)會員
2001年被授予國際認知科學領域最高學術榮譽Rumelhart Prize
2005年被授予國際人工智能聯合會議(IJCAI)卓越研究獎
2016年被授予美國國家工程院外籍院士
2018年被授予圖靈獎
4 優秀，來自彪悍家族的壓力
Hinton是Hinton家的優秀男性基因和Boole家的優秀女性基因的繼承者。
布爾代數的Boole，深度學習泰斗Hinton，《牛虻》作者伏尼契，北京第一位中國綠卡獲得者寒春……原來都是相親相愛的一家人！
主人公Geoffrey Everest Hinton出生在英國南部的溫布爾登，在布里斯托爾長大，下面是小時候的照片。
母親(Margaret Clark)是一位數學老師，父親(Howard Everest Hinton)是一位專注甲殼蟲研究的昆蟲學家。
Hinton的父親是一個對體力和智力都嚴苛要求、讓人心生敬畏的父親，Hinton回憶說，“他喜歡那些思維清晰的人。如果你說了哪怕一點廢話，他就會稱其為垃圾。他不是那種多愁善感的思想者，他也不會虐待人，但他確實極其強硬。”
Hinton的曾祖父(Charles Howard Hinton)是一名數學家和科幻作家。
他的妻子叫Mary Ellen，Mary Ellen的父親叫George Boole，就是布爾代數、布爾電路、布爾類型、布爾表達式等等中的布爾。
曾祖父有兩個兒子，一位是主人公的爺爺，另一位(Sebastian Hinton)也生有兩個孩子：William Howard Hinton和Joan Chase Hinton。哥哥William中文名韓丁，一位農學家、記者、馬克思主義者，1945年來到中國，寫過很多關于中國的書，最著名的就是《翻身》。妹妹Joan中文名寒春，芝加哥大學核物理研究所研究生，參與過曼哈頓計劃，因原子彈的巨大破壞而放棄核物理，也是北京第一位中國綠卡獲得者。
Hinton的中間名是Everest，來自他曾祖母的叔叔、地理學家Everest，“珠穆朗瑪峰”的英文名就是以他的名字命名的。
爆過家譜后，是不是和小編一樣感嘆這個恐怖的家族擁有著十分強大的基因，一次訪談中Hinton打趣到，“我大概在7歲的時候就意識到，不讀博士不行了”。
5 成功者的標配，不順利的求學路
Hinton說過，從小他的母親給過他兩種選擇：“做學者，或是做失敗者”。
中學時，Hinton在克里夫頓學院結識了一位朋友了解到了全息圖，其中講到了人腦如何存儲記憶，這是Hinton的AI之路的開始。
18歲的Hinton進入劍橋大學國王學院攻讀物理和化學，但只讀了一個月就退學了。一年之后，他又重新申請了國王學院的建筑學，結果又退學了，這次他只堅持了一天。之后又轉向了物理和生理學，后來又轉到了哲學，花1年修完了2年的課程，結果和自己的導師吵了起來。最后的最后，他轉向了心理學，并在1970年獲得實驗心理學學士學位。畢竟，優秀的人才都要經歷幾次退學。
畢業后Hinton成了一名木匠，一邊做書架、木門，一邊思考大腦工作原理。
一年多的體力勞動后回歸了學術界。1972年，Hinton進入愛丁堡大學，開始讀人工智能博士，主攻神經網絡。
一次，Hinton參加了一個類似EST-y的研討班。活動最后一天，每個人都要宣布各自生命中最最想要的東西。當大家在竊竊私語說想要被愛時，Hinton的宣言令自己和大家都大吃一驚。“我真正想要的是一個博士！”，他怒吼到，點燃了一個7歲時就藏匿在內心的想法。
6 信我，直到世界追上我的腳步
為了找到一個支持他研究神經網絡的棲身之處，也避免研究被用于軍事項目，Hinton來到了加拿大高級研究所(CIFAR)，就是CIFAR10/CIFAR100數據集中的那個CIFAR，最后落腳在加拿大的多倫多大學。
如今因為Hinton，加拿大現已成為AI研究的重要力量之一，吸引了多家人工智慧巨頭將研究中心開到了多倫多。
來到加拿大后，Hinton慢慢的有了一小撮深度學習的跟隨者，包括OpenAI的聯合創始人兼董事伊利亞·蘇奇凱弗(Ilya sutskever)等。
80年代早期計算機沒有能力處理神經網絡所需的大量數據，所以Hinton等人的成功是有限的，當時AI的主流方向不是模仿大腦。AI研究的工作崗位和資金稀缺使得這10名左右的團隊在“AI寒冬”的黑暗中等待著黎明。
21世紀初期，Hinton被一些學術機構，AI與計算機科學領域的圈子拒之門外。參加學術會議時，Hinton常坐在房間的最角落里，在大牛云集的會議上完全被忽視。
直到這個世界開始慢慢追上他的腳步。
進入21世紀后計算機硬件的能力發展迅速，數據以驚人的速度開始積累，神經網絡的訓練開始變得可行。
2006年Hinton在Science上發表文章揭開了深度學習的序幕。2009年Hinton的2位學生使用神經網絡贏下了一個語音識別比賽。2012年另外兩個學生輕松贏下了當年的ImageNet ILSVRC挑戰賽，提出著名的AlexNet。
Hinton說：“我們不再是瘋子邊緣，我們現在是瘋狂的核心”。
Hinton的腳步從未停歇，2017年發表了Capsule Networks(膠囊網絡)，帶來了深度學習的新研究方向。
7 兩任妻子的生命，堅定擁抱AI醫療
Hinton的第一任妻子Ros因為卵巢癌去世，第二任妻子Jackie后來也被診斷出患有胰腺癌。
在陪伴妻子治病時，Hinton目睹了太多低效的數據處理和大量誤診帶來的困擾，這讓他對深度學習改革醫療的潛力更加充滿熱情。
Hinton建立了向量學院Vector Institute，最早的一批項目中就包括用神經網絡研究多倫多醫院提供的大量數據。后來Hinton的學生Brendan Frey在多倫多創辦了Deep Genomics，正開發能夠讀取DNA的AI。
AI在醫療方向的研究也是當下的熱門，期望AI能夠在人類對抗疾病的戰爭中發揮更大的作用。
8 Hinton經典語句
“大概在7歲的時候我就意識到，不讀博士不行了。”
“如果你想了解非常復雜的設備，像大腦這樣的，你必須要自己做一個。”
"大家都不認可時，為什么不放棄？因為堅信“其他人都錯了！”
“我們都是機器，只不過是以生物的方式出生。大多數做AI的人毫不懷疑我們是機器。人類只是非常有想象力的機器。我不應該這樣說，但我們都是特別的、很棒的機器。”
AI教父Hinton因從小傷了背，05年之后嚴重到不能坐立，已站立工作12年，他堅持大步行走在大學操場上，Google公司內。他的一生經歷過學術界的不認可、科研世家的壓力、兩任患癌的妻子，用了40年執著神經網絡，終引人工智能風騷，向Hinton致敬。
本周直播(點擊圖片跳轉)
有三AI生態
