神經網絡又稱人工神經網絡 (ANN) 或模擬神經網絡 (SNN)，是機器學習的子集，同時也是深度學習算法的核心。 其名稱和結構均受到人腦的啟發(fā)，可模仿生物神經元相互傳遞信號的方式。
人工神經網絡 (ANN) 由節(jié)點層組成，包含一個輸入層、一個或多個隱藏層和一個輸出層。 每個節(jié)點也稱為一個人工神經元，它們連接到另一個節(jié)點，具有相關的權重和閾值。 如果任何單個節(jié)點的輸出高于指定的閾值，那么會激活該節(jié)點，并將數據發(fā)送到網絡的下一層。 否則，不會將數據傳遞到網絡的下一層。
神經網絡依靠訓練數據來學習，并隨時間推移提高自身準確性。 而一旦這些學習算法經過了調優(yōu)，提高了準確性，它們就會成為計算機科學和人工智能領域的強大工具，使我們能夠快速對數據進行分類和聚類。 與由人類專家進行的人工識別相比，語音識別或圖像識別任務可能只需要幾分鐘而不是數小時。 Google 的搜索算法就是最著名的神經網絡之一。
神經網絡如何運作？
將各個節(jié)點當成自己的線性回歸模型，由輸入數據、權重、偏差（或閾值）和輸出組成。 該公式與以下類似：
∑wixi + bias = w1x1 + w2x2 + w3x3 + bias
output = f(x) = 1 if ∑w1x1 + b>= 0; 0 if ∑w1x1 + b < 0
確定輸入層后，即可分配權重。 這些權重有助于確定任何給定變量的重要性，與其他輸入相比，較大的權重對輸出的貢獻更大。 將所有輸入乘以其各自的權重，然后求和。 之后，通過一個激活函數傳遞輸出，該函數決定了輸出結果。 如果該輸出超出給定閾值，那么它將“觸發(fā)”（或激活）節(jié)點，將數據傳遞到網絡中的下一層。 這會導致一個節(jié)點的輸出變成下一個節(jié)點的輸入。 這個將數據從一層傳遞至下一層的過程可將此神經網絡定義為前饋網絡。
我們利用二進制值來解析單個節(jié)點的外觀。 我們可以將這個概念應用到更具體的例子，比如您是否應該去沖浪（是為 1，否為 0）。 決定去還是不去是我們預測的結果，即 y-hat。 我們假設有三個因素影響您的決定：
海浪好不好？ （是：1，否：0）
需要排隊嗎？ （是：1，否：0）
最近是否發(fā)生過鯊魚襲擊事件？ （是：0，否：1）
然后，我們假設以下內容作為輸入：
X1 = 1，因為海浪在翻涌
X2 = 0，因為人群已散去
X3 = 1，因為最近沒有發(fā)生過鯊魚襲擊事件
現在，我們需要分配一些權重來確定重要性。 較大的權重表示特定變量對決策或結果較為重要。
W1 = 5，因為較大的涌浪不太常出現
W2 = 2，因為您已經習慣了人多
W3 = 4，因為對鯊魚感到恐懼
最后，我們還假設一個閾值 3，這將轉換為偏差值 -3。 所有輸入到位后，我們就可以開始將值插入公式，得出期望的輸出。
Y-hat = (1*5) + (0*2) + (1*4) – 3 = 6
如果我們從本節(jié)開始使用激活函數，那么可以確定此節(jié)點的輸出為 1，因為 6 大于 0。 在此情況下，您會去沖浪；但如果我們調整權重或閾值，就會從模型中得出不同的結果。 當我們觀察一個決策時，比如在上述示例中，我們可以看到，神經網絡制定日益復雜決策的方式取決于之前決策或之前層的輸出。
在上述示例中，我們使用了感知器來說明一些數學運算，而神經網絡則利用 sigmoid 神經元，這些神經元的取值為 0 和 1。 由于神經網絡的行為類似于決策樹，將數據從一個節(jié)點級聯到另一個節(jié)點，因此 x 值取 0 和 1 將減少單個變量的任何指定更改對任何指定節(jié)點輸出的影響，并因此減少對神經網絡輸出的影響。
開始思考神經網絡的更實際用例時，比如圖像識別或分類，我們將利用監(jiān)督學習或標記的數據集來訓練算法。 在訓練模型時，我們將使用成本（或損失）函數來評估其準確性。 這通常也稱為均方誤差 (MSE)。 在以下方程中：
i 代表樣本的索引
y-hat 是預測結果
y 是實際值
m 是樣本數
= =1/2 ∑129_(=1)^?( ?^(() )?^(() ) )^2
最終，目標是最大程度減小成本函數，確保任何指定觀察的正確擬合。 當模型調整其權重和偏差時，它使用成本函數和強化學習來達到收斂點或局部最小值。 算法通過梯度下降調整權重，這使模型可以確定減少錯誤（或使成本函數最小化）的方向。 在每個訓練示例中，模型參數都會進行調整，以逐步收斂至最小值。
閱讀此篇 IBM Developer 文章，其中較為深入地解釋了神經網絡中涉及的定量概念。
大多數的深度神經網絡都是前饋網絡，這意味著它們只在一個方向上流動，即從輸入到輸出。 但是，您也可以通過反向傳播訓練模型；也就是說，從輸出到輸入反向移動。 通過反向傳播，我們能夠計算和歸因與每個神經元關聯的錯誤，并相應地調整和擬合模型的參數。
神經網絡的類型
神經網絡可分類為不同的類型，分別用于不同的目的。 盡管此類型列表并不全面，但以下代表了最常見的神經網絡類型，您可能會遇到其常見用例：
感知器是最古老的神經網絡，由 Frank Rosenblatt 于 1958 年創(chuàng)建。
我們在本文中主要討論的是前饋神經網絡，或稱多層感知器 (MLP)。 它們由輸入層、一個或多個隱藏層以及輸出層組成。 雖然這些神經網絡通常也被稱為 MLP，但值得注意的是，它們實際上是由 sigmoid 神經元而不是感知器組成的，因為大多數現實問題都是非線性的。 通常將數據饋送到這些模型進行訓練，這些數據便是計算機視覺處理、自然語言處理和其他神經網絡的基礎。
卷積神經網絡 (CNN) 類似于前饋網絡，但它們通常用于圖像識別、模式識別和/或計算機視覺處理。 這些網絡利用線性代數中的原理（尤其是矩陣乘法）來識別圖像中的模式。
循環(huán)神經網絡 (RNN) 由其反饋回路來識別。 利用時間序列數據預測未來結果時，主要使用這些學習算法，比如股市預測或銷量預測。
神經網絡與深度學習
在對話交談中，深度學習和神經網絡往往會互換使用，這可能會造成混淆。 因此，值得注意的是，深度學習中的“深度”只是指神經網絡中層的深度。 由三個以上的層組成的神經網絡（包含輸入和輸出）即可視為深度學習算法。 只有兩層或三層的神經網絡只是基本神經網絡。
要詳細了解神經網絡和其他人工智能形式（如機器學習）之間的差異，請閱讀博客文章“人工智能、機器學習、深度學習與神經網絡：有何區(qū)別？”
神經網絡的歷史
神經網絡的歷史比大多數人想象的都要長。 “會思考的機器”這一想法最早可以追溯到古希臘時期，但我們將著重關注一些重要事件，這些事件促使人們圍繞神經網絡的思考不斷演進，這些年來，神經網絡的熱度也是時消時漲：
1943 年：Warren S. McCulloch 和 Walter Pitts 發(fā)表了“A logical calculus of the ideas immanent in nervous activity (PDF, 1 MB)（鏈接位于 ibm.com 外部）”，本研究旨在了解人腦如何通過互相連接的腦細胞或神經元形成復雜模式。 本文中的主要想法之一是將具有二進制閾值的神經元與布爾邏輯（即，0/1 或 true/false 語句）進行對比。
1958 年：Frank Rosenblatt 開發(fā)出感知器，這一創(chuàng)新記錄在他的以下研究論文中：“The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain”（鏈接位于 ibm.com 外部）。 他通過在方程中引入權重，進一步鞏固了 McCulloch 和 Pitt 的研究成果。 Rosenblatt 能夠利用 IBM 704，讓計算機學會如何區(qū)分左側標記的卡片和右側標記的卡片。
1974 年：雖然許多研究人員都對反向傳播的概念做出了貢獻，但 Paul Werbos 作為美國第一人，首次在其博士論文 (PDF, 8.1 MB)（鏈接位于 ibm.com 外部）中提到了反向傳播在神經網絡中的應用。
1989 年：Yann LeCun 發(fā)表了一篇論文 (PDF, 5.7 MB)（鏈接位于 ibm.com 外部），說明了反向傳播中使用的約束及其與神經網絡架構的集成如何用于訓練算法。 本研究成功利用神經網絡識別出美國郵政總局提供的手寫郵政編碼。
