深度學(xué)習(xí)的核心技術(shù)是幾十年前就提出的人工神經(jīng)網(wǎng)絡(luò)，如果將人工神經(jīng)網(wǎng)絡(luò)比為火箭發(fā)動機(jī)一代，那么深度學(xué)習(xí)就是火箭發(fā)動機(jī)二代，升級了訓(xùn)練方式（Hinton大神首創(chuàng)），加裝了高性能計算配置（做游戲顯卡起家的英偉達(dá)走大運了），最關(guān)鍵的是有了大數(shù)據(jù)燃料，這樣一來，我們?nèi)祟愶w抵人工智能星球的能力就大大增加了。這也是為什么神經(jīng)網(wǎng)絡(luò)換馬甲為深度學(xué)習(xí)之后，能獲得突破性階段性成功（多個領(lǐng)域接近或完敗人類）的本質(zhì)原因，上述三個方面的天時地利人和發(fā)揮了關(guān)鍵作用。另外我們都知道，偉大的東西往往很簡單，好比愛因斯坦的EMC方程，深度學(xué)習(xí)也是一種樸素、簡單、優(yōu)美而有效的方法：像小孩搭積木一樣簡單地構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)；性能不夠，加層來湊的樸素思想；當(dāng)然最關(guān)鍵還是效果，就某些應(yīng)用領(lǐng)域而言，深度學(xué)習(xí)在大數(shù)據(jù)集上的學(xué)習(xí)能力完敗傳統(tǒng)方法，當(dāng)你的大數(shù)據(jù)燃料輸入發(fā)動機(jī)之后，你可以驚奇地等待并發(fā)現(xiàn)，它比計算機(jī)科學(xué)家?guī)资昱λ鶚?gòu)建的大部分機(jī)器學(xué)習(xí)算法效果都要好很多，不得不讓人刮目相看。深度學(xué)習(xí)為什么會成為機(jī)器學(xué)習(xí)的熱點，或者說被喻為通往通用人工智能的關(guān)鍵技術(shù)？除了現(xiàn)階段其學(xué)習(xí)能力比很多傳統(tǒng)淺層機(jī)器學(xué)習(xí)方法優(yōu)秀之外，應(yīng)該還有更深層的應(yīng)用價值 ，那么深度學(xué)習(xí)的“深度”價值究竟是什么，個人以有限的理解提幾點供大家探討：
（1）深度學(xué)習(xí)的類腦機(jī)制研究還很初級，神經(jīng)計算和深度學(xué)習(xí)的交叉融合還遠(yuǎn)遠(yuǎn)不夠。深度學(xué)習(xí)的加層機(jī)制來源于對人類大腦視覺分層處理的理解，而原人工神經(jīng)網(wǎng)絡(luò)也只是很初級的模擬了人腦神經(jīng)元的連接和激活。人腦實現(xiàn)學(xué)習(xí)、記憶、推理、情感等能力的神經(jīng)網(wǎng)絡(luò)運行原理我們自己都還知之甚少，但是，深度學(xué)習(xí)加減層、加減神經(jīng)元、加減鏈接這些簡單的網(wǎng)絡(luò)構(gòu)建方法卻是跟人腦的運行機(jī)制有類似的地方，幼兒到成人神經(jīng)元數(shù)量在增加、學(xué)習(xí)和記憶是神經(jīng)元之間鏈接的構(gòu)建和加強(qiáng)等等…，可以說，深度學(xué)習(xí)在借鑒大腦神經(jīng)網(wǎng)絡(luò)原理和人類認(rèn)知過程方面，還有很多問題需要挖掘，但這種類腦計算的思路是有其深度價值的，只是暫時我們還不能理解罷了。
（2）為什么大規(guī)模數(shù)據(jù)加大規(guī)模網(wǎng)絡(luò)結(jié)構(gòu)能加強(qiáng)模型的表達(dá)能力，對這種深層表達(dá)能力原理的解釋還遠(yuǎn)遠(yuǎn)不夠。性能不夠，加層來湊，跟三個臭皮匠頂個諸葛亮是一樣的道理，網(wǎng)絡(luò)的深度體現(xiàn)了模型復(fù)雜度的表征能力，每深一層，表達(dá)能力就能大幅提升，因為增加了層數(shù)之后，模型的復(fù)雜度更高，可以吃下去更多的數(shù)據(jù)。但到一定程度之后網(wǎng)絡(luò)越深模型的性能不一定會更好，因為數(shù)據(jù)不夠擬合網(wǎng)絡(luò)的容量了，網(wǎng)絡(luò)容量及結(jié)構(gòu)跟大數(shù)據(jù)量級是一種什么關(guān)系？雖然說復(fù)雜模型可由簡單模型進(jìn)行組合，預(yù)測性能可由增加網(wǎng)絡(luò)復(fù)雜度得以提升，網(wǎng)絡(luò)結(jié)構(gòu)及容量的有效性，以及內(nèi)部機(jī)制的可解釋性還有很多問題需要解決。但性能不夠，加層來湊這種樸實的組合處理思想，還是有待深度挖掘的，特別是應(yīng)用價值，在Kaggle大賽里有大量體現(xiàn)，我的下篇文章“從Kaggle看組合式機(jī)器學(xué)習(xí)的魔力”會深入探討這個問題。
（3）非監(jiān)督學(xué)習(xí)能否讓深度學(xué)習(xí)的自動特征工程更上一層樓？非監(jiān)督式深度學(xué)習(xí)技術(shù)的研究還遠(yuǎn)遠(yuǎn)不夠。雖然非監(jiān)督學(xué)習(xí)對于深度學(xué)習(xí)的成功逆襲起到了關(guān)鍵作用（以2006年Hinton的DBN文章為代表），但在接下來這些年里，以CNN和RNN為代表的深度模型，在圖像、音頻、視頻、自然語言等領(lǐng)域成功，使得有監(jiān)督學(xué)習(xí)蓋過了無監(jiān)督學(xué)習(xí)的風(fēng)頭，這也是科研人員快速出成果的現(xiàn)實選擇，標(biāo)準(zhǔn)的標(biāo)簽數(shù)據(jù)集，拿來就能灌水，而且效果很好，誰愿去面對現(xiàn)實世界中海量的無標(biāo)簽數(shù)據(jù)集這個硬骨頭呢？但是未來解碼人類學(xué)習(xí)方式的重大突破，很可能會由非監(jiān)督學(xué)習(xí)技術(shù)來完成，因為無監(jiān)督才是人類和動物學(xué)習(xí)的關(guān)鍵模式，嬰幼兒通過少量有監(jiān)督學(xué)習(xí)訓(xùn)練之后，在后續(xù)幾十年的成長過程中，能夠觀察并發(fā)現(xiàn)世界的內(nèi)在結(jié)構(gòu)和獲得經(jīng)驗知識，都是一種無監(jiān)督的自發(fā)主動的學(xué)習(xí)模式，而不是像小時候被父母告知每項事物的名稱和意義。
（4）調(diào)參不是問題，參數(shù)少才是限制。很多人認(rèn)為深度學(xué)習(xí)的調(diào)參很坑爹，參數(shù)對預(yù)測性能的影響很敏感，這里我不談細(xì)節(jié)技術(shù)，其實是有很多方法可以解決這個問題的。只探討下參數(shù)多與少的問題，個人認(rèn)為深度學(xué)習(xí)之所以有效，一方面是因為類人腦神經(jīng)網(wǎng)絡(luò)的黑魔法機(jī)制（這個機(jī)制超出了人類的認(rèn)知范圍，短時間內(nèi)我們還難以搞清楚），另一方面就是參數(shù)的魅力。我們說人類的進(jìn)化，社會發(fā)展，蝴蝶效應(yīng)等…各種隨機(jī)性，各種參數(shù)供上帝之手（如果有的話）的撥動，才成就了世間萬象的復(fù)雜性和多樣性。就好比中醫(yī)，可有說幾千年的中醫(yī)學(xué)就是一門調(diào)參學(xué)，這也是Hinton為什么說Shallow is hurt， 因為成就深度網(wǎng)絡(luò)超強(qiáng)的表達(dá)能力就在于層數(shù)增多參數(shù)增多，也符合我們大腦的機(jī)制，人腦的運行機(jī)制是一樣的道理，每個小的選擇大的抉擇都是調(diào)參而已。實際上深度學(xué)習(xí)加貝葉斯學(xué)習(xí)，最大似然法能做出理論上的最優(yōu)預(yù)測，參數(shù)方法的深度價值還沒有挖掘出來而已。
（5）多種學(xué)習(xí)方式的深度交叉融合，將極大推進(jìn)深度學(xué)習(xí)的應(yīng)用價值特別是人工智能的突破。機(jī)器的情感、記憶推理等高級智能，將很可能由遷移學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、對抗學(xué)習(xí)等各種學(xué)習(xí)方式的深度交叉融合成就，未來的機(jī)器學(xué)習(xí)方式遠(yuǎn)不只這幾種，其實都是在模仿人類的學(xué)習(xí)方式。遷移學(xué)習(xí)代表了我們的進(jìn)化過程，學(xué)習(xí)的舉一反三、觸類旁通過程，對抗學(xué)習(xí)跟你打壁球或者跟電腦下棋沒有本質(zhì)區(qū)別，但對機(jī)器學(xué)習(xí)能力的提升卻是很有效。未來的深度學(xué)習(xí)能否產(chǎn)生智能，那就看各種學(xué)習(xí)方法融合得怎么樣了。
（6）深度學(xué)習(xí)能有多深，取決于GPU、TPU、XPU等的計算加速能力有多強(qiáng)多快。雖然深度學(xué)習(xí)的計算方式參照了人類視覺多層處理機(jī)制，但深度學(xué)習(xí)算法的處理時間與人類大腦和視覺神經(jīng)元的計算反應(yīng)時間相比還有很大差距，另外現(xiàn)在的人工神經(jīng)元相比人腦神經(jīng)元的復(fù)雜度，也是相差甚遠(yuǎn)。要完成大規(guī)模計算的實時響應(yīng)，我們還需要較長的路要走，各種高性能計算技術(shù)還需要突破摩爾定律的發(fā)展。不然通用的人工智能是顯然不可能實現(xiàn)的。大數(shù)據(jù)是燃料，深度學(xué)習(xí)是火箭發(fā)動機(jī)，XPU就是推進(jìn)加速器，沒有加速器這個關(guān)鍵助力，深度學(xué)習(xí)將難以成就深度智能。
（7）深度學(xué)習(xí)系統(tǒng)與神經(jīng)網(wǎng)絡(luò)芯片的軟硬結(jié)合，硬件單元是深度學(xué)習(xí)應(yīng)用落地的關(guān)鍵載體，特別是產(chǎn)品級、設(shè)備級上的應(yīng)用，深度學(xué)習(xí)軟件、各種NN網(wǎng)絡(luò)芯片、各種XPU計算單元的集成支持，智能化一體化的軟硬件融合是必須的，這也是實現(xiàn)人工智能機(jī)器人的必須途徑，個人認(rèn)為這一融合有望在自動駕駛領(lǐng)域率先突破。
上述七個方面分別探討了深度學(xué)習(xí)面臨的各種問題和深度價值，不管是研究價值還是應(yīng)用價值，應(yīng)該說還有很多問題有待挖掘。最后做個小結(jié)，個人認(rèn)為基于深度網(wǎng)絡(luò)架構(gòu)的有限知識融合大數(shù)據(jù)驅(qū)動的機(jī)器學(xué)習(xí)將是通往通用人工智能的關(guān)鍵技術(shù)。相信深度學(xué)習(xí)這一波思潮所代表的技術(shù)框架、算法模型庫、各種相關(guān)技術(shù)的演化和拓展，在學(xué)術(shù)界和工業(yè)界將會走很遠(yuǎn)，深度學(xué)習(xí)的深度價值不容小覷。最后，以Hinton大牛在最近演講中提出的一個開放問題作為結(jié)尾：“如果心智只是我們的大腦，一團(tuán)神經(jīng)元、突觸、電位和神經(jīng)遞質(zhì)構(gòu)成的網(wǎng)絡(luò)的產(chǎn)物，那么我們可以將心智注入一個電腦，來建模我們大腦的人工神經(jīng)網(wǎng)絡(luò)嗎？如果可以，這又意味著什么？”。
本文由 點睛大數(shù)據(jù)杜圣東 投稿至36大數(shù)據(jù)，并經(jīng)由36大數(shù)據(jù)編輯發(fā)布，轉(zhuǎn)載必須獲得原作者和36大數(shù)據(jù)許可，并標(biāo)注來源36大數(shù)據(jù)http://www.36dsj.com/archives/77985，任何不經(jīng)同意的轉(zhuǎn)載均為侵權(quán)。
End.
轉(zhuǎn)載請注明來自36大數(shù)據(jù)（36dsj.com)：36大數(shù)據(jù) ? 深度學(xué)習(xí)的“深度”價值是什么？
