關(guān)于深度學(xué)習(xí)從人腦研究到構(gòu)建復(fù)雜算法的進(jìn)化過程的一個(gè)小故事

Frank Rosenblatt working on Perceptron Cornell Chronicle, Division of Rare and Manuscript

TLDR；在此博客中，您將學(xué)習(xí)深度學(xué)習(xí)（DL）的理論方面及其發(fā)展方式，從研究人類大腦到構(gòu)建復(fù)雜算法。接下來，您將看到由著名的深度學(xué)習(xí)人員進(jìn)行的幾項(xiàng)研究，然后他們?cè)贒L領(lǐng)域播種了幼樹，而DL現(xiàn)已發(fā)展成一棵大樹。最后，將向您介紹深度學(xué)習(xí)已奠定堅(jiān)實(shí)基礎(chǔ)的應(yīng)用程序和領(lǐng)域。

深度學(xué)習(xí)：簡(jiǎn)史

在過去的十年中，沒有其他技術(shù)比人工智能重要。斯坦福大學(xué)的安德魯·伍（Andrew NG）稱其為'新電力'，包括Google，微軟和蘋果在內(nèi)的多家科技巨頭已經(jīng)改變了其業(yè)務(wù)戰(zhàn)略，成為'人工智能第一'的公司。我們?yōu)榇松畋砀兄x。在開始之前，讓我們了解DL的含義以及其大肆宣傳的原因。

深度學(xué)習(xí)是AI的子集，是一種計(jì)算機(jī)技術(shù)，可以使用神經(jīng)網(wǎng)絡(luò)的多個(gè)人工層來提取和轉(zhuǎn)換數(shù)據(jù)。這些層包含一組以特定狀態(tài)存在的人工神經(jīng)元。當(dāng)數(shù)據(jù)發(fā)送到這些層時(shí)，每個(gè)層都從先前的層中獲取輸入，并逐步完善它們。然后，通過可不斷減少錯(cuò)誤并提高其預(yù)測(cè)準(zhǔn)確性的算法對(duì)各層進(jìn)行訓(xùn)練。這樣，網(wǎng)絡(luò)便學(xué)會(huì)了執(zhí)行特定任務(wù)。

> Classes of Artificial Intelligence (Image by Author)

DL與傳統(tǒng)的AI和機(jī)器學(xué)習(xí)（ML）算法相比，速度較慢，但功能更加直接和強(qiáng)大。因此，它們基于一種創(chuàng)新類型的模型（神經(jīng)網(wǎng)絡(luò)）在醫(yī)學(xué)，科學(xué)，社會(huì)，制造，供應(yīng)鏈，機(jī)器人等不同領(lǐng)域中得到廣泛使用。如果您想知道DL的時(shí)間可以追溯到什么時(shí)候，讓我向您澄清，它畢竟不是新的。它自1940年代以來就存在。讓我們深入了解歷史，看看它們是如何不時(shí)演變的。

McCulloch-Pitts（MCP）模型

神經(jīng)網(wǎng)絡(luò)由沃倫·麥卡洛（Warren McCullough）和沃爾特·皮茨（Walter Pitts）于1944年首次提出，這是兩位芝加哥大學(xué)的研究人員，他們于1952年移居麻省理工學(xué)院，成為第一個(gè)認(rèn)知科學(xué)系的創(chuàng)始人。他們的研究的標(biāo)題為'神經(jīng)活動(dòng)固有思想的邏輯演算'，目的是了解大腦如何通過使用許多相互連接的細(xì)胞來產(chǎn)生高度復(fù)雜的模式。同樣的理論也幫助他們使用受真實(shí)神經(jīng)元啟發(fā)的電子電路對(duì)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)進(jìn)行建模。據(jù)學(xué)者稱，盡管存在不同的觀點(diǎn)和問題，但本文仍被視為人工神經(jīng)網(wǎng)絡(luò)的開端。

> Warren McCulloch and Walter Pitts (Wikipedia Commons)

神經(jīng)元的結(jié)構(gòu)以' MCP（McCulloch Pitts）神經(jīng)元'命名。MCP神經(jīng)元通常被稱為線性閾值門，因?yàn)樗鼘⑤斎敕譃閮深悺Ｔ跀?shù)學(xué)上，線性階躍函數(shù)定義為

> The mathematical definition of Linear threshold gate (Image by Author)

· y代表輸出

· xi代表輸入信號(hào)

· wi代表神經(jīng)元的相應(yīng)權(quán)重

· Zj代表抑制輸入

· Θ代表閾值

該功能的設(shè)計(jì)方式是，任何抑制性輸入的活動(dòng)都可以在任何時(shí)間點(diǎn)完全阻止神經(jīng)元的興奮。

下圖是河口清（Kiyoshi Kawaguchi）的線性閾值門圖示。

> Symbolic Illustration of Linear Threshold Gate by Kiyoshi Kawaguchi

赫比學(xué)習(xí)規(guī)則

1949年，即MCP模型發(fā)明六年之后，唐納德·赫布（Donald O. Hebb）在他的名為'行為的組織'的研究中加強(qiáng)了神經(jīng)元的概念。由于他在深度學(xué)習(xí)方面做出的巨大貢獻(xiàn)，他還被稱為神經(jīng)網(wǎng)絡(luò)之父。

> Donald Hebb (SRC: UBC Open Collections)

現(xiàn)在，讓我們看看' Hebbian規(guī)則'是關(guān)于什么的；它指出，隨著這兩個(gè)單元同時(shí)出現(xiàn)的頻率增加，應(yīng)加強(qiáng)兩個(gè)單元之間的聯(lián)系。

為了理解規(guī)則，以下是他的書摘錄，

'當(dāng)細(xì)胞A的軸突足夠接近以激發(fā)細(xì)胞B并反復(fù)或持續(xù)參與激發(fā)它時(shí)，一個(gè)或兩個(gè)細(xì)胞中都會(huì)發(fā)生某些生長(zhǎng)過程或代謝變化，使得作為激發(fā)細(xì)胞B的細(xì)胞之一，作為效率，增加了。'

上面的陳述描述了神經(jīng)元活動(dòng)如何影響神經(jīng)元之間的連接，即突觸可塑性。它提供了一種更新神經(jīng)網(wǎng)絡(luò)內(nèi)神經(jīng)元連接權(quán)重的算法。總結(jié)他的研究，以下是Hebbian學(xué)習(xí)機(jī)制的三個(gè)主要收獲：

· 神經(jīng)網(wǎng)絡(luò)中神經(jīng)元連接之間的信息以權(quán)重的形式存儲(chǔ)。

· 權(quán)重的更新與神經(jīng)元激活值的乘積成正比。

· 隨著學(xué)習(xí)的進(jìn)行，弱連接神經(jīng)元的同時(shí)或重復(fù)激活會(huì)逐漸改變強(qiáng)度和模式，從而導(dǎo)致更牢固的連接。

感知器

1957年，在MCP模型和希伯來準(zhǔn)則獲得成功之后，心理學(xué)家弗蘭克·羅森布拉特提出了第一個(gè)可訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，稱為Perceptron。后來，他用感知器構(gòu)造了一種電子設(shè)備，該電子設(shè)備顯示出能夠根據(jù)聯(lián)想進(jìn)行學(xué)習(xí)的能力。

Perceptron的設(shè)計(jì)與現(xiàn)代神經(jīng)網(wǎng)絡(luò)相似，不同之處在于，Perceptron的設(shè)計(jì)只有一層，可以在輸入層和輸出層之間將輸入分為具有可調(diào)權(quán)重和閾值的兩種可能的輸出類別。

> Rosenblatt and the Perceptron (Wikipedia Commons)

他的大部分研究主要是受到人類視覺環(huán)境的啟發(fā)。讓我們看看如何！

> Left: Illustration of organisation of a perceptron in (Rosenblatt, 1958), Right: A typical perceptron in modern machine learning literature (Src: On the origins of DL)

左圖解釋了Rosenblatt感知器。它具有四個(gè)單元，分別是感覺單元，投影單元，關(guān)聯(lián)單元和響應(yīng)單元。當(dāng)輸入被發(fā)送到視網(wǎng)膜時(shí)，信息被發(fā)送到投影區(qū)域，然后投影區(qū)域前進(jìn)到感覺單元，然后傳遞到關(guān)聯(lián)單元。該結(jié)構(gòu)類似于當(dāng)今神經(jīng)網(wǎng)絡(luò)中感知器的結(jié)構(gòu)，如右圖所示。

可以認(rèn)為感知器與MCP模型非常相似。但是，這是主要區(qū)別：

在感知器中，神經(jīng)元具有與突觸權(quán)重相關(guān)的附加常數(shù)，稱為偏差（b）。可以將其視為激活閾值的取反。

· 突觸權(quán)重不限于單一或正。因此，某些輸入可能具有抑制作用，從而使某些輸入對(duì)神經(jīng)元輸出的影響大于其他輸入。

在數(shù)學(xué)上，感知器所依賴的人工神經(jīng)元的非線性由下式給出：

> Image by Author

無論采用什么形式，感知器（以及許多其他線性分類器）的決策邊界都由下式給出：

> Image by Author

另外，我們可以給出一個(gè)緊湊的數(shù)學(xué)符號(hào)，如下所示：

> Image by Author

這是感知器的現(xiàn)代插圖，解釋了重量和偏向如何與神經(jīng)元相連：

> Image by Author

反向傳播

反向傳播學(xué)習(xí)技術(shù)是深度學(xué)習(xí)領(lǐng)域的重大突破之一。該算法于1970年代引入。但是，直到1986年著名的研究論文'通過反向傳播錯(cuò)誤學(xué)習(xí)表示法'（David Rumelhart，Geoffrey Hinton和Ronald Williams出版）之后，它的重要性才得到人們的充分認(rèn)識(shí)。

Left to Right: David Rumelhart Geoffrey Hinton, NNs, with forward and back pass (Wikipedia Commons)

如果沒有針對(duì)神經(jīng)網(wǎng)絡(luò)的高效反向傳播技術(shù)，將深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練到今天所看到的深度將是不切實(shí)際的。反向傳播可以被認(rèn)為是現(xiàn)代神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的基礎(chǔ)。

該算法用于使用稱為鏈規(guī)則的方法有效地訓(xùn)練神經(jīng)網(wǎng)絡(luò)。簡(jiǎn)而言之，在每次向前通過網(wǎng)絡(luò)后，反向傳播都會(huì)執(zhí)行向后傳播，同時(shí)會(huì)調(diào)整模型的參數(shù)（權(quán)重和偏差）。反向傳播的核心是成本函數(shù)C的偏導(dǎo)數(shù)?C/?w的表達(dá)，其中C涉及網(wǎng)絡(luò)中的任何權(quán)重w（或偏差b）。

'為什么將導(dǎo)數(shù)用于反向傳播算法？'。

· 特定輸入x的成本函數(shù)C的梯度是C的偏導(dǎo)數(shù)的向量。

· 使用成本函數(shù)的這種梯度，我們可以測(cè)量與輸入量變化有關(guān)的輸出值靈敏度。換句話說，使用此導(dǎo)數(shù)，我們可以了解成本函數(shù)的發(fā)展方向。

· 總而言之，漸變顯示參數(shù)w（或b）需要改變（正向或負(fù)向）以最小化C的量。

> Image showing how the gradients are Computed (src)

到目前為止，我們已經(jīng)看到了深度學(xué)習(xí)先驅(qū)做出的一些重要貢獻(xiàn)。下圖為我們提供了自1940年代以來該領(lǐng)域如何演變的總體思路。如我們所見，時(shí)間軸非常密集，而在單個(gè)博客文章中涵蓋所有這些內(nèi)容將是完全不現(xiàn)實(shí)的。如果您仍然有興趣進(jìn)一步詳細(xì)了解這一點(diǎn)，建議您閱讀這篇由Haohan Wang和Bhiksha Raj撰寫的非凡研究，題為'關(guān)于深度學(xué)習(xí)的起源'。

> Credits to Favio Vázquez for this awesome image!

現(xiàn)在，讓我們來看看深度學(xué)習(xí)如何發(fā)展到迄今為止具有各自應(yīng)用程序的不同領(lǐng)域。

深度學(xué)習(xí)的領(lǐng)域和應(yīng)用

很久以前，當(dāng)前技術(shù)的進(jìn)步是無法觸及的。我們從未想象過人性化的計(jì)算機(jī)，自動(dòng)駕駛汽車以及醫(yī)療程序的改進(jìn)。但是如今，這些功能憑借深度學(xué)習(xí)的力量已成為我們?nèi)粘Ｉ畹囊徊糠帧，F(xiàn)在讓我們進(jìn)一步了解深度學(xué)習(xí)在各個(gè)領(lǐng)域的應(yīng)用。

計(jì)算機(jī)視覺：簡(jiǎn)而言之，簡(jiǎn)歷提供了一些技術(shù)來幫助計(jì)算機(jī)'看到'并理解數(shù)字內(nèi)容，例如圖像和視頻。以下是DL for Computer Vision的一些應(yīng)用程序。

· 面部識(shí)別和識(shí)別

· 衛(wèi)星和無人機(jī)圖像

· 圖像搜索優(yōu)化

· 圖像超分辨率和彩色化

· 引導(dǎo)自動(dòng)駕駛車輛識(shí)別道路，行人，信號(hào)燈等

自然語言處理（NLP）：NLP幫助理解與語言相關(guān)的復(fù)雜性，可能是語法，語義，音調(diào)細(xì)微差別，表達(dá)甚至嘲諷。隨著計(jì)算能力的提高，深度學(xué)習(xí)現(xiàn)在也能夠識(shí)別和理解人類語言。諸如Siri，Google Voice之類的AI助手主要依靠NLP來處理信息。這是它的一些應(yīng)用。

· 語音識(shí)別

· 命名實(shí)體識(shí)別（標(biāo)識(shí)名稱，位置，地址，并且可以從文本中移出）

· 聊天機(jī)器人（Q和A）

· 社交媒體上的情緒和情感檢測(cè)

醫(yī)學(xué)與生物學(xué)：醫(yī)學(xué)與生物學(xué)的進(jìn)步提供了大量數(shù)據(jù)，如醫(yī)學(xué)圖像，基因信息，蛋白質(zhì)序列等。利用這些數(shù)據(jù)，正在開發(fā)幾種基于深度學(xué)習(xí)的算法，這些算法已廣泛用于生產(chǎn)中，以幫助醫(yī)生，科學(xué)家和放射科醫(yī)生。以下是一些通過DL取得突破的應(yīng)用程序：

· 醫(yī)學(xué)圖像分類（在CT，MRI，X射線圖像上）

· 腫瘤分割

· 蛋白質(zhì)折疊和藥物發(fā)現(xiàn)

· 臨床文字處理

游戲：DL徹底改變了以前的游戲方式。DL算法現(xiàn)在可以通過適應(yīng)玩家的情緒和心理狀態(tài)來與人類對(duì)抗。所有這些都?xì)w功于強(qiáng)化學(xué)習(xí)帶來的嘗試和錯(cuò)誤學(xué)習(xí)的概念。

> OpenAI models playing against humans (Source: OpenAI)

以下是一些被廣泛使用的應(yīng)用程序：

· 玩NPC（非角色）—機(jī)器人

· 建模復(fù)雜的交互

· 視頻圖形處理

· 游戲宇宙創(chuàng)作

參考文獻(xiàn)：

· 解釋：神經(jīng)網(wǎng)絡(luò)

· 用于反向傳播的多線程軟件模型

· 感知器：大腦中信息存儲(chǔ)和組織的概率模型

· 深度學(xué)習(xí)的起源

· 羅森布拉特的感知器，第一個(gè)現(xiàn)代神經(jīng)網(wǎng)絡(luò)|尚·克里斯托夫·B·洛索（Jean-Christophe B.Loiseau）

謝謝閱讀！

(本文由聞數(shù)起舞翻譯自Emma Ding的文章《The past, present and future of deep learning》，轉(zhuǎn)載請(qǐng)注明出處，原文鏈接：https://towardsdatascience.com/the-past-present-and-future-of-deep-learning-adb4d60eaf24)