新智元報道
編輯：金磊
Geoffrey Hinton，被稱為“神經網絡之父”、“深度學習鼻祖”， 他將神經網絡帶入到研究與應用的熱潮，將“深度學習”從邊緣課題變成了谷歌，臉書，微軟, 亞馬遜， 蘋果等互聯網和IT巨頭仰賴的核心技術.
近期，Hinton獲得圖靈獎的消息刷爆全網，可謂是實至名歸。而早在2016年底，時任美國微軟研究院深度學習技術中心的Partner研究經理和人工智能首席科學家的鄧力先生便高度推薦和支持Geoffrey Hinton獲得該獎項。紐約時報在3月27日首次報道Hinton等獲圖靈獎的消息時，引用了作為語音識別合作者的鄧力先生對Hinton在深度學習開創性工作的評價。
（見 https://www.nytimes.com/2019/03/27/technology/turing-award-ai.html）
本文經鄧立先生授權，公開其推薦信。 這是他在離職微軟入職城堡基金前夕受多倫多大學委托為Hinton教授寫的。以下為推薦信的具體內容。
2016年11月24日
致：圖靈獎評選委員會主席
關于：推薦和支持Geoffrey Hinton獲獎
尊敬的圖靈獎評選委員會主席，
我是美國微軟研究院深度學習技術中心的Partner研究經理，過去與Geoff Hinton教授一同在諸方面做過卓有成效的合作。 我強烈推薦和支持Geoff獲得圖靈獎，因為他在深度學習方面的開創性工作和成就引領了現代整個語音識別、圖像識別和人類語言處理行業的發展趨勢。Geoff對我本人的工作也產生了深刻地影響。我的公司微軟，以及美國和世界上許多大大小小的IT公司，都從Geoff的深度學習的原創工作中在多維度上大大受益。
Geoff是我所認識和共事過的最卓越及才華橫溢的科學家和研究員。他的工作不僅有助于了解人類大腦如何處理信息，更重要的是，他能夠有效地將這些知識嵌入到工程和人工智能系統中，從而創造出潛在的類似大腦的能力。在接下來的這封推薦信中，我想將Geoff在工業語音識別方面工作的影響作為一個具體的案例，因為這是Geoff所做出的最具代表性的杰出成就之一， 而我本人恰恰能作為他的合作者的身份證明他的偉大功績。
Geoff在2009-2012年期間與美國微軟研究院緊密合作，在深度學習方面進行了開創性的工作，從根本上改變了語音識別在工業界和學術界的應用方式。這次合作及其產生的結果打破了20多年來語音聲學表征的傳統，即使用數目巨大的但基本上平坦的高斯混合模型作為每個隱馬爾可夫狀態。接下來，讓我簡要地描述一下Geoff和我的合作是如何展開的，以及這項工作后來在微軟和整個行業產生了怎樣的影響。
在2009年11月至12月期間(加上2010年的另一段時間)，我有幸“聘請”Geoff為我和微軟雷蒙德研究院進行咨詢，研究如何將深度學習方法應用于語音特征編碼和語音識別問題。在此之前，基于高斯混合統計模型和隱馬爾可夫模型的語音識別長期以來一直處于非常令人沮喪的“局部最優”狀態，因為語音識別的準確率很難大幅提升。自20世紀80年代以來，這些模型在語音識別中可是一直占據主導地位。 現在讓我將這種情況置于當時的歷史背景吧。 2006年秋季，美國政府的Office of the Director of National Intelligence’s Office of Science and Technology（即IARPA的前身組織) 敏銳的觀察到了語音識別中出現的這一尷尬狀態， 就同時呼吁成立一支專家小組（我是其中之一）在首都華盛頓會面決策怎樣跳出這種狀態。這個小組開了幾天會，劇烈爭論的焦點是 --- 在15年的時間內并在（假設的）無限制資源情況下如何開發語音識別的顛覆性技術， 才能擺脫“局部最優”的難題。大部分的討論都集中在了深層統計生成模型上，以及如何獲取和整合有關動態人類語音感知和生成的知識，并將其整合到復雜的統計框架中。而我們當中所有的專家小組成員當時沒有一個人談論過神經網絡，因為神經網絡在當時的2006年之前許多年就已經“過時”了。
這次會議產生了一份冗長的報告。 幾年后，微軟和其他組織都按照報告中提出的方向進行了許多嘗試。特別是，我在微軟帶領一個團隊，繼續使用當時流行的現代機器學習算法(如變分推理和貝葉斯學習)進行深度和動態生成建模。對于一些基準測試任務(例如TIMIT)，這種方法提供了最高的準確性。 但是對于大型詞匯量的語音問題的推斷和解碼，運行時的復雜性是如此之高，甚至我自己的公司微軟也不想將這種深入的統計模型應用到我們的語音產品中。所以那時，我們微軟一直在尋找新的技術。在我閱讀了Geoff于2006年發表的兩篇開創性的深度學習論文，以及Geoff親自與我（在NIPS 2008上）討論過這些論文的重要性之后，我邀請Geoff Hinton來為我和我的研究團體做咨詢。那時，語音研究社團幾乎沒人讀過或重視過Geoff的深度學習論文和思想。
在他2009年咨詢之旅期間，Geoff和我在Redmond的辦公室里密切合作，共同開發了和分析了訓練Geoff的深層信念網絡的方法“食譜”及在語音特征提取上的應用。這是一種深層模型的生成形式，但是參數化形式和深度神經網絡一樣。 我們當時實驗中用的聲學數據來自于常用的小型語音識別實驗。因為數據集相當小，這就允許快速的實驗周轉。所使用的網絡比以前的神經網絡要深得多、大得多，有多達6到10個隱含層，每層有幾千個隱含單元，相鄰層之間完全連接。最后對網絡進行微調，使用標準的反向傳播算法計算梯度，利用動量隨機梯度下降更新權值。 這就將生成信念網絡轉化為判別神經網絡。在微調開始之前，通過使用由Geoff和其學生開發的無監督學習算法來初始化神經網絡的權重，該算法無需知道用于微調的標簽。無監督學習算法一次學習一個二元隨機特征的隱含層，目的是在學習第一個隱含層時，對下一層或原始語音特征中特征激活模式的統計結構建模。這種深度神經網絡的結果在對同一任務進行評估時僅略優于當時文獻中性能最好的，基于我和同事開發的深層/動態生成模型的單一系統。然而，我們仔細分析了這兩種不同的系統產生的語音識別的錯誤樣本，發現它們的錯誤模式迥然不同。這種不同的錯誤模式的發現反映了兩種方法不同的核心能力，并推動了對深度學習方法的進一步研究。2010年和2011年在微軟內部的進一步研究使得大規模語音識別系統的錯誤率大幅減少，首先由微軟的大型語音識別實驗所證實，然后由IBM、谷歌、科大訊飛 和百度再證實，而后更由全球幾乎所有從事語音識別的行業和學術團體證實。
這種語音識別系統中使用的基本算法是基于Geoff開創性的深度學習的工作。如果沒有Geoff的洞察力，沒有他對深度學習在成功前的宗教般的信念，沒有他對此的熱切追求和他勸說的力量，沒有他親自實踐的指導來運行他的“食譜”(甚至實踐到同我手把手一起研究語音數據時的計算機編碼水平)，語音識別行業就不會有今天這種革命性的成功。
Geoff在運行針對大規模人工智能問題(如語音識別)的深度學習算法時，及時采用現代計算基礎設施的巧妙本能令我感到見到大神般的驚訝。具體來說，GPU/CUDA庫是在2007/2008年發布的，當時不少語音識別領域的研究人員都在追求深度/動態生成模型，希望能夠為大規模語音識別提供正確的解決方案但一直沒有成功。“最完美的時刻”出現在2009年，當時GPU/CUDA變得流行起來，微軟發現由于與這些方法相關的可擴展性問題，嚴格的方法無法交付我們需要的東西。當才華橫溢的學者Geoff和業界抓住這個機會，利用GPU的及時大計算資源和深度神經網絡方法(這種方法最適合GPU計算)共同解決最緊迫的問題時，革命發生了。
綜上所述，Geoff的工作和成就對語音識別行業的革命性變革做出了巨大的貢獻，因為在很長一段時間內，整個領域都陷入了“局部極小值”。Geoff在將深度學習和深度神經網絡引入語音識別方面所做的工作，其重要性超過了語音識別整個50年歷史中任何一項單獨的技術。在計算機視覺、自然語言處理和多模態機器學習(我的研究也涉及到這些)方面，Geoff的貢獻同樣重要。 我相信，其他推薦人會很詳細說明Geoff在這些方面的貢獻和他們的重要性。
