【新智元導讀】2016年4月14日（周四）21:00 - 22:30，酷我創始人、北大大數據與機器學習中心聯合主任雷鳴先生以線上對話的方式，在微信群中與人工智能領域專家吳恩達（Andrew Ng）、徐偉對話，暢談深度學習的現在與未來。此次活動一共有近10,000人參加。
1）深度學習的技術現狀和未來發展
2）語音識別、計算機視覺和自然語言等領域的現狀、挑戰和未來發展預期3）自動駕駛、機器人等AI技術產業化的未來預期和相關探索4）對于AI領域專業人士的職業發展建議
【雷鳴】首先我們探討第一個問題：深度學習的技術現狀和未來發展，是否會成為通用基礎技術？現在深度學習非常火熱，被吹得神乎其神。這個技術是否會成為某種意義的終極技術？【徐偉】深度學習是為人工智能的一個重要部分。未來人工智能會是運用非常廣泛的技術，所以深度學習也將被廣泛使用。【吳恩達】關于第二個問題，現在確實有太多關于深度學習的夸大的宣傳。我認為深度學習正在創造很多價值——幫助我們把海量數據轉化成巨大的價值；同時，我也相信深度學習在未來若干年仍將繼續創造巨大的價值——我們仍有太多的想法需要去實現，卻只有很少的人在做這些事情。但是，我們離真正人類水平的人工智能還相差甚遠，而且也還沒有找到清晰的實現路徑。我認為一些相關的炒作是不太負責任的。人工智能會對整個社會有很大的影響力，所以我認為，對于我們來說了解清楚它能帶來什么和不能帶來什么是非常重要的，所以我們需要制定相應的規劃。
【雷鳴】一個問題，如果在有比較充分的數據和運算能力的條件下，是否深度學習可以超越幾乎所有的經典的數據挖掘算法？【徐偉】可以說對大多數監督式學習問題，深度學習會超越傳統的算法；對于一些非監督學習的問題，似乎還不是很明確。【徐偉】目前為止一個比較成功的非監督的例子是word embedding；不過也有很多人不認為word embedding 是深度學習。另外word embedding 和傳統的非監督學習也并不完全一樣，實際上運用了上下文作為監督。我認為非監督學習要取得成功，實際上更會使用類似這樣的弱監督學習。【吳恩達】我同意徐偉的觀點。深度學習所創造的所有價值，現在大部分都是監督學習，也就是學習相對簡單的A-->B映射。舉例來說：可能A是一封電子郵件，B表示A是或不是垃圾郵件，這就是一個垃圾郵件過濾器；或者A是一個圖像，B是一個對象標簽，這就是物體識別。有了很多標記過的數據（例如A,B配對）和一個足夠大的網絡，你可以證明一個深度學習算法可以以極高的精度學習任意函數。近期最激動人心的重大突破之一就是：深度學習算法現在可以學習一個A-->B的映射，其中B不只是1 /0或一個整數（如前述的例子），而可以是非常復雜的事情，比如一句話。【雷鳴】@Andrew，你在說自然語言嗎？是指的翻譯，語音識別，還是語義處理級別的？【吳恩達】例如：如果A是圖片，B是對應的文字說明，就是圖說 （第一篇論文由徐偉以及他的同事發表）；如果A是英語句子，B是法語句子，就是機器翻譯（可以參考Ilya Suskevar等人的研究）；如果A是圖片問題對，B是相應的答案，這個問題就變成了基于圖像的QA問題（也是徐偉的成果）。監督學習在機器翻譯和語音識別里得到了廣泛的應用。例如，在百度語音識別系統里，我們最大的成就之一是利用大規模的神經網絡系統讓機器學習將語音片段映射到相應的文本。坐在我身邊的Tony負責其中的普通話識別版本，我們相信這個系統是目前最好的普通話識別系統。【雷鳴】看起來不僅僅是語言，還包括了圖像，這個進展是非常大的。語音識別、計算機視覺和自然語言處理等領域的現狀、挑戰和未來發展預期
【雷鳴】下面我們聊一下在一些領域，深度學習帶來的新的進展。比如說語音識別，我前些時間到百度美國研究院，看到Andrew給我演示的語音識別：在非常大的噪音環境下，我基本上聽不出來里面的人說什么，但是語音識別出來了；之后我仔細聽，發現語音識別是對的。@Andrew，方便介紹一下全球在語音識別方面的最新進展嗎？對于語音識別，隨著技術進步，我們做出超過人對人聲識別的系統，是否是一個必然結果？【吳恩達】我認為語音識別會逐步使用端到端的學習方法。在這些方法里，數據集的大小是影響性能的重要因素。最近我發現使用基于attention模型的結果很好。我們的工作也深受Alex Grave在CTC工作上的影響。目前還有兩個主要的挑戰：第一個是對于長句子的識別。我們的語音識別系統，在沒有上下文的時候，對短句子的識別超過了人類的水平；然而在有上下文的情境下，比如在長對話中，系統的識別效果還是不如人類。另一個主要的挑戰就是理解文本的內容，而不僅僅是轉錄。盡管如此，我還是很期待建立一個語音驅動的世界。就如喬布斯用觸摸屏改變了我們與手機交互的方式，我認為語音會在未來進一步改變我們與機器交互的方式。【徐偉】目前的語音識別系統還沒有像人那樣能夠很好的利用上下文信息。【雷鳴】另外一個問題是關于圖片識別以及視頻內容識別，全球的最新進展如何？微軟最近的一個圖像識別的進展，用了100多層的深度神經網絡，得到了不錯的效果。是否超深的神經網絡，也是一個發展方向？【徐偉】對像ImageNet這樣的問題，目前的deep residue net的結果已經非常好了。目前我們也看到很深的模型在一些NLP也有很好的效果。對于視頻內容，運算能力還是一個重大的瓶頸；只有百萬級別的數據，訓練就需要數天。【雷鳴】對于計算機視覺，尤其是運動圖像（視頻）處理，當前的進展和挑戰如何？在自然語言對話領域，現在深度學習應用的效果如何？【徐偉】目前深度學習模型最大的難點之一還是記憶以及知識表達，還有推理也是一個難點。【雷鳴】@徐偉，是否面臨的最大問題，正如你上面說的，是記憶和知識表達？自動駕駛、機器人等AI技術產業化的未來預期和相關探索
【雷鳴】下面我們聊一下一些實用的領域，比如現在百度大力發展的無人駕駛，這塊的挑戰和機遇是什么？對于無人駕駛，在5年內我們真的能夠在大街上乘坐商用的無人駕駛汽車嗎？【吳恩達】我很幸運我之前做過幾次無人車的項目。百度無人車項目是我第四次參與無人車研發了。但是這一次是我有生以來第一次感到前路如此的清晰，來讓無人駕駛成為現實！這也是我有生以來，第一次感到前路如此的清晰！下面是我之前幾次研發的無人車。
【吳恩達】在中國，每天都有500人死于車禍。我們的無人駕駛技術早實現一天，就相當于多拯救了500人的生命，這將會是接下來的十年中，人工智能得到的最重要的應用之一。為什么我覺得這一技術非常有希望實現呢？一方面，我們有著遠超從前的復雜的深度學習算法。我們非常榮幸林元慶先生幾個月前加入百度，承擔其中的重要工作；另一方面，我們也制定了獨一無二的無人車發展戰略——鐵軌戰略。【雷鳴】@Andrew，你是說給無人駕駛汽車規定路線？那我們五年內有可能在大街上乘坐無人駕駛車嗎？【吳恩達】我們計劃在2018年開始提供商用的無人駕駛服務，并在2020年前將其推廣普及。下面是“鐵軌戰略”的核心要點：
不要試圖將無人車一下子覆蓋到每個地方，先從局部展開（比如固定路線或者小城市），然后逐步推廣。
計算機駕駛車輛和人駕駛車輛有所不同：計算機從不醉酒，但也不能理解交警的手勢。所以需要確保人們對無人車有切合實際的期望。
無人車設計要容易識別，這樣大家才能立刻認出它們。
讓無人車的行為高度可預測，可預測甚至比智能更能保證安全。
在自動駕駛區，適度改變一些基礎設施，保證無人車知道它們需要做什么。比如，給應急人員配備同無人車交互的設備（例如無線航標器），確保道路維護良好，劃線都很清晰等等。有了這些改變，我想無人車應該很快就可以上路了。
我們在北京和硅谷的團隊都在快速壯大。在這一戰略的指導下，我們非常地興奮的看到，有大批的人都在申請加入我們，為“每天拯救500人”而努力！
【雷鳴】自動駕駛，一個挺科幻的概念，再有幾年就滿大街都是，真讓人感慨技術發展速度啊。我們再談一下機器人，Google現在要銷售掉Boston Dynamics，讓人非常震驚！【吳恩達】是的！我想和在座的年輕人說幾句話。我們處在一個獨特的時期，這是一個人工智能將會改變世界的時期。如果你知道怎么運用人工智能，你今天的一個決策將有可能在接下來十年里改變世界。你的努力可能會拯救數以萬計甚至百萬計的生命。或許，你可以改變整個行業，幫助無數的人。也正因如此，我對人工智能如此興奮！如果你還年輕，正在考慮未來的職業如何規劃，我希望你能夠考慮人工智能，加入百度或者其他地方的人工智能研發團隊。讓我們一起讓世界變得更加美好！【雷鳴】@Andrew，這確實非常激動人心！現在已經有無數的人為AI癡迷。現在的理科學生們確實都在學習機器學習。【吳恩達】我很高興聽到有很多人對機器學習感興趣。現在的問題是機器學習的想法和機會太多，不過能做的人太少。世界需要更多懂人工智能的人。【雷鳴】@Andrew，你也多做一些好的在線課程，讓大家多學習！這次活動，一共有20個大群，近10,000人參加，可見現在大家對AI是多么感興趣。【雷鳴】機器人真的離我們還非常遙遠嗎？是否近5年都沒有巨大的商業化機會？【徐偉】功能非常專用的機器人，應該還是會有很快的發展和應用。但像人那樣的機器人，還比較遙遠。self-driving car可能是最重要的一種。未來幾年內，家用機器人還很難真正幫人做事。【雷鳴】現在銷售量最大的應該是掃地機器人，不過很多人都覺得他們不像機器人。那么在未來幾年，會有那些機器人領域大放異彩？工業機器人？家庭機器人？服務機器人？【吳恩達】機器人在一些垂直細分的領域也有了很多令人振奮的應用。除了無人駕駛，還有精準農業、電站自動檢查、電子商務自動取件、安全機器人等等。這些機器人中，大部分的硬件和軟件都是為了特定任務設計的，因此他們并非人形機器人。我認為，真正的通用機器人（并非工廠里面的機械臂）離我們還有一些距離。【雷鳴】 你怎么看待亞馬遜的助理機器人Echo，它在美國非常流行。【吳恩達】我家里面就有一個Amazon Echo。我認為這是基于語音的智能家庭的一個很好的開始，但這一新的產業現在仍然處于最早期。亞馬遜的產品給我留下很深的印象，但是從長期來講，我認為現在來討論這個產品是否正確仍然為時尚早。【吳恩達】不過我的確認為在將來，我們可以與家里面所有的設備對話，讓它們理解并且能回應我們。我期待幾十年后，我們的孩子們會對我們今天的生活感到非常神秘。他們會感到非常不可思議，當你和家里的微波爐講話時，它居然會不搭理你！
【雷鳴】對于AI從業的人士，Andrew有什么職業發展建議？【吳恩達】人工智能發展的如此迅猛，從事這一行業的我們應該不斷的學習。再一次，我想跟在座的年輕人共勉：每個周六，你可以選擇看美劇，也可以選擇學習。如果你學習，兩天后的周一，你不會很快的就在工作中出彩，你的老板也不會知道你花了整天的時間學習，更不會夸獎你什么。你幾乎找不到任何東西可以證明你在努力學習。但是我想告訴大家：如果你每個周末都這樣努力工作，持之以恒，你會發現你已經突飛猛進。我認為，學習是一件幾乎沒有短期回報的事，但是從長遠來看，回報卻是非常豐厚的。
【吳恩達】所以，一個巨大的挑戰——我想大家都會遇到的挑戰——就是讓我們自己始終充滿動力地學習，日復一日，年復一年！【徐偉】說到reward, 延遲很久的reward目前也是deep reinforcement learning很難處理的一點。【雷鳴】@徐偉，對人類也相當復雜的問題，對機器學習也一樣啊。
【問】End to end的方法，對數據的依賴有多高？機器學習如何提高對數據的學習和處理能力，而不是所有的數據必須人工標注后才能使用？如果不能解決這個問題，AI如何真正的進化？【徐偉】所以需要Agent在環境中能主動地獲取數據，像人那樣。【問】深度學習應用在自然語言處理方面感覺還是不怎么理想。有這么一種說法：圖像是你直接看到的，語言卻是人類抽象之后的；特別是將深度學習應用在貼吧的帖子，或者電商網站上的評論數據，貌似效果都不如人為的規則 傳統的模型。你們怎么看呢？【徐偉】人類對話還涉及了大量的知識的運用，目前深度學習還很缺乏這一點。在較少依賴語言的一些NLP問題上（比如機器翻譯），我們的試驗顯示深度學習目前已經可以超越傳統模型了。【問】在傳統的機器學習任務上，模型選擇一直是個問題。現在深度學習給人的感覺是要比傳統的svm、決策樹、或者boosting等都要好，但是實際應用中真是這樣嗎？像搜索排序、推薦等問題，業界已經成熟運用深度學習了嗎？【吳恩達】 謝謝你的問題。是的，深度學習是業界在許多重要任務上所使用的效果最好的算法，包括檢索、推薦等等。一般的情況是這樣的：如果你的訓練集相對較小，那么最終的效果更多地取決于你手動設計特征的技巧上，深度學習同SVM、boosting、決策樹等傳統方法相比就沒有很大的優勢。但是在大數據領域——也就是你可以獲得龐大的帶標記的訓練集——那么有監督的深度學習往往更合適。這種情況的部分原因是由于深度學習是“大容量的”（也就是很高的VC維，如果你知道這個的具體含義）。這個特點使它與其它的許多算法相比能更好地處理非常大的數據集。深度學習模型往往比傳統方法，比如非線性核SVM具有更好的數據擴展性，這讓我們可以構建基于大量數據集的訓練模型。為了幫助大家更直觀地理解，這里用一個圖表情節來幫助解釋我對于深度學習同傳統算法的性能比較整體趨勢的觀點。
【問】請問兩位老師：第一個問題，怎樣用深度學習做點擊率預測CTR？其中一個難點在于輸入特征維度高而且sparse，深度學習針對這類問題怎么解決？第二個問題，深度學習在推薦方面有什么好的方法？【徐偉】其實這是深度學習的一個優勢，把高位稀疏直接作為輸入，它學到的是類似embedding一樣的東西。所以，我的問題是能否將一些在NLP（自然語言處理）上的方法應用到生物學問題上？如果可以，那哪個方法最有可能呢？——在NLP中應用最廣泛的模型是遞歸模型。它們已經在解決生物學問題上有所應用了。【問】您知道有什么方面AI（人工智能）實際上能幫助擴展或者訓練人類的智能嗎？例如谷歌的alphaGO，專業的圍棋選手是否可能通過學習它的推理過程獲得提升？【吳恩達】其實從Gary Kasparov輸給深藍之后，這種情況就發生了。現在的象棋選手可以通過向電腦棋手學習或者與其對戰而提高自己的水平。我也聽說了關于圍棋這方面的消息，但是這么說還為時尚早。更一般地說，我看到了許多計算機可以來彌補人腦的機會。我對在線教育很感興趣，我認為像Coursera和網易公開課都是一個很好的開始；我希望隨著時間的推移，在線教育將來可以更加靈活、更能適應需求，可能會成為大家的私人導師。【問】對于醫學影像處理，收集大規模、準確以及帶標記的數據是非常困難的。請問我們如何提高性能？【吳恩達】深度學習目前在大規模數據的應用上取得了許多唾手可得的成果。如果你并沒有大的訓練數據，那么短期來看，你只能從更傳統的工程方法入手（包括細心設計你的特征提取）。稍微往前來看，有許多激動人心的其他形式的學習方法，包括遷移學習、半監督學習以及無監督學習——以及其他一些我們現在沒法想像的方法——能幫助我們在小訓練集上也能取得更好的性能。百度和其他機構都在這些領域積極開展研究。我認為沒有誰現在已經找到了最佳算法，但是我可以看到每年都會有許多進步。【徐偉】人類在基于小規模樣本進行學習上有著令人的能力，這一部分依賴于人類的建模能力，一部分來源于可以向其他人學習的能力。深度學習目前還缺少這些能力。【問】深度學習網絡會進化到能夠進行邏輯思考嗎？或者說邏輯思考與深度學習方法在本質上相差甚遠，所以我們需要其他的方法來彌補深度學習網絡？【徐偉】目前為止，還沒有好的方法去進化一個大型的深度學習模型（但在小模型的進化上有一些研究）。所以，能否讓深度學習網絡具有邏輯思辯能力就取決于研究者設計的新的模型。但是我認為深度學習是有可能實現這一點的，這個判斷是基于深度學習在NLP上取得的飛速進展。【雷鳴】回答結束，那我們就結束今天的講座吧。很高興和各位分享交流！非常感謝幾位嘉賓在百忙之中參加活動！【吳恩達】 謝謝大家的熱情，這么晚的時間還在和我與徐偉交流。我們也希望未來會有更多的機會和中國的人工智能人士交流，也希望會有機會來支持中國的人工智能發展！【徐偉】謝謝大家的非常好的問題。時間有限，不能一一解答。我們今天的溝通到此結束！謝謝大家！
本站僅提供存儲服務，所有內容均由用戶發布，如發現有害或侵權內容，請
點擊舉報。
