引自：《深度學習》（作者：文龍, 李新宇）
深度學習（deep learning，DL）是近年來飛速發展的新領域，是機器學習的一個特定分支。為了提高機器學習系統的準確率，將輸入數據信息轉換為有效的特征是至關重要的一步。其中的特征的一般性描述稱為表示。如果某種算法具備自動學習特征的能力，那么這種學習方式稱為表示學習。深度學習是表示學習的經典代表方法。
深度學習是將原始數據通過多步的特征轉換得到的一種特征表示，其“深度”指的是對原始數據進行非線性特征轉換的次數，如用于特征提取的多層網絡結構。深度學習為了學習一種好的表示，通過構建具有一定“深度”的模型，進而自動學習到好的特征表示（從底層特征，到中層特征，再到高層特征），最終提高整個機器學習系統的準確性和效率，如圖1所示。
圖1 深度學習的數據處理流程
「 1. 深度學習的發展歷程 」
具體來說，人工智能、機器學習和深度學習是包含關系的幾個領域，如圖2所示。人工智能涵蓋的內容非常廣，機器學習是20世紀末發展起來的一類重要人工智能技術。深度學習則是機器學習的一個分支，比傳統機器學習方法具有更強大的能力和靈活性。深度學習所具有的表示學習能力，解決了傳統機器學習方法面臨的難題，極大地擴展了人工智能的應用領域范圍。
圖2 深度學習與神經網絡和人工智能的關系
深度學習的概念是由著名學者杰弗里·辛頓（Geoffrey Hinton，神經網絡之父、深度學習鼻祖，圖靈獎得主）等于2006年提出的。但是深度學習的研究起源于20世紀50年代對人工神經網絡的研究。縱觀整個人工神經網絡的發展，其發展是跌宕起伏的，經歷了“三起兩落”。
起點：1943年，McCulloch和Pitts發表《A Logical Calculus if Ideas Immanent in Nervous Activity》，神經網絡開山之作。該文提出了神經元計算模型，計算機使用該模型模擬人的神經元反應的過程。
第一起：1958年，Rosenblatt提出感知器（Perceptron），并提出一種接近于人類學習過程的學習算法。
第一落：1969年，Marvin Minsky出版《感知機》（Perceptrons），總結了感知機的兩大問題：即無法處理異或問題和計算能力不足，在往后十多年里神經網絡研究一直沒有太大進展。
第二起：1986年，Hinton等發明了適用于多層感知器（multi-layer perceptron，MLP）的反向傳播算法（backpropagation，BP），并采用Sigmoid進行非線性映射，有效解決了非線性分類和學習的問題。由此掀起了神經網絡發展的第二次熱潮。BP算法是神經網絡中極為重要的學習算法，至今仍占有重要地位。
第二落：BP算法被指出存在“梯度消失”和“梯度爆炸”問題。1995—2006年計算機性能仍然無法支持大規模的神經網絡訓練，導致SVM和線性分類器等簡單的方法反而更流行。
第三起：2006年，Hinton等提出深度學習，并給出了解決“梯度消失/梯度爆炸”問題的方案，即首先通過無監督學習逐層預訓練模型，再使用有監督學習對模型進行調優。神經網絡迎來第三次高潮。
得益于大數據的興起、計算能力的提升等推動作用，深度學習通過學習樣本數據的內在規律和表示層次，在語音和圖像識別等領域取得的效果，遠超先前相關技術，取得了巨大的成功，并已經向各個其他領域應用擴展。
「 2. 深度學習的應用 」
目前，深度學習在計算機視覺、語音識別、自然語言處理等領域得到了廣泛的應用，且取得了超越了人類水平的效果。不僅如此，在智能制造領域中，深度學習也得到了大量的應用，并向制造領域全生命周期中的各個環節滲透。隨著智能制造的發展，工業大數據以前所未有的速度發展，工業場景數據采集的廣度和深度都得到了前所未有的提高，給智能制造帶來了新的機遇。本節通過幾個不同應用領域的案例來說明深度學習的典型應用場景。
1）計算機視覺
計算機視覺是指利用攝像機或者計算機代替人眼對目標進行識別、跟蹤和測量，以期從圖像、視頻等信息中建立人工智能系統。計算機視覺得到了研究者長期、廣泛的關注，也是深度學習最早實現突破性進展的領域。在計算機視覺的各個子任務領域，包括圖像分類、目標檢測、圖像語義分割、場景文字識別、圖像生成、人體關鍵點檢測、視頻分類、度量學習等，深度學習都得到了廣泛應用，并極大地推進了相關領域的發展。如在人臉識別領域，支付寶刷臉支付已成為常態，如圖3（a）所示。在新冠肺炎疫情期間，基于人臉的門禁系統通過刷臉出入得到了大量的推廣應用，如圖3（b）所示。
（a）
（b）
圖3 計算機視覺應用
（a）支付寶刷臉支付；（b）人臉識別門禁系統
2）語音識別
自2009年深度學習被引入語音識別領域，深度學習取得了巨大的進展。2015年，百度研究院開發的深度學習系統在中英文語言識別上的正確率超過了人類。在中文語音測試中，人類組的錯誤率是4.0%，而深度學習僅為3.7%。谷歌、蘋果、微軟、百度、騰訊等國內外大型IT公司提供了大量的語音相關產品和服務。例如騰訊公司的微信提供了語音轉文字功能，如圖4（a）所示。科大訊飛輸入法提供了語音輸入法，除普通話外，還有超過23種地方方言、3種民族語言等的語音輸入法，如圖4（b）所示。
（a）
（b）
圖4 語音識別應用
（a）微信的語音轉文字功能；（b）科大訊飛輸入法語音輸入
3）自然語言處理
自然語言處理（natural language processing，NLP）是指用計算機對自然語言的形、音、義等信息進行處理，即對字、詞、句、篇章的輸入、輸出、識別、分析、理解和生成等的操作和加工，NLP研究實現人與計算機之間用自然語言進行有效通信的各種理論和方法。自然語言處理的應用包括機器翻譯、輿情監測、自動摘要、觀點提取、文本分類、問題回答、文本語義對比、中文OCR等方面。例如百度云和阿里云均提供大量NLP方面的應用。
4）智能故障預測
智能故障預測是將人工智能技術應用到故障診斷中，根據所采集到的各類型、多模態的數據，建立相應的故障預測模型，以推斷系統或部件的故障原因。隨著工業大數據的發展，深度學習為智能故障預測提供了新的思路和途徑。深度學習以其強大的數據特征自動提取能力，實現了對設備運行歷史數據的自動提取與分析，進而可以提高故障檢測與診斷的精度與效率。其應用領域也覆蓋從零部件（如軸承、變速箱、往復式壓縮機等）到各類復雜裝備等（如風力發電機、航空航天設備等）。圖5為德國Paderborn大學KAT數據中心的故障數據采集裝置，用于獲取不同軸承故障類型的實驗數據。
圖5 德國Paderborn大學KAT數據中心的故障數據采集裝置
5）工業圖像檢測
工業圖像檢測，是指利用機器視覺對工業中產生的圖像進行處理與分析，以替代人工檢測。工業圖像檢測不僅提高了生產的自動化程度，讓不適合人工作業的危險工作環境變成了可能，同時也讓大批量、持續生產變成了現實，大大地提高了檢測效率與效果，進而提高生產效率。工業圖像檢測的應用場景十分廣泛，如表面缺陷檢測、物體分揀、視覺測量等。圖6為天池鋁型材表面缺陷數據集和北京大學發布的印刷電路板（PCB）瑕疵數據集。
（a）
（b）
圖6工業圖像檢測應用
（a）天池鋁型材表面缺陷數據集；（b）印刷電路板瑕疵數據集
當然，深度學習的應用領域還遠遠不止以上這些，限于篇幅，不再列舉。
