新智元編譯
來源：deepmind.com 等
作者：DeepMind；Brian Mingus
編譯：熊笑
【新智元導讀】DeepMind 的最新論文稱自己“首次”將認知心理學方法引入了對深度神經網絡黑箱的理解研究中，并用認知心理學的方法發現了深度神經網絡存有和人類兒童在學習詞匯時也存在的“形狀偏好”的行為。此文一出，就有學者指出，DeepMind 是在將過去的研究包裝為全新的研究。
DeepMind 的最新論文稱過去“首次”將認知心理學方法引入了對深度神經網絡黑箱的理解研究中，并用認知心理學的方法發現了深度神經網絡存有和人類兒童在學習詞匯時也存在的“形狀偏好”的行為。此文一出，就有學者指出，DeepMind 是在將自己的研究包裝為全新的研究。
從識別和推理圖像中的物體，到以超人的水準玩 Atari 和圍棋游戲，深度神經網絡已經學會完成很多了不起的任務。而隨著這些任務和網絡結構變得越來越復雜，神經網絡學習得到的解決方案也變得越來越難以理解。
這就是著名的“黑箱”問題。這一問題已隨著神經網絡在現實世界中越來越多的應用而日益凸顯。
在 DeepMind，我們正致力于擴展理解和解釋深度神經網絡的工具箱。在我們已被 ICML 接受的最新論文（Cognitive Psychology for Deep Neural Networks: A Shape Bias Case Study，地址：https://arxiv.org/pdf/1706.08606.pdf）里，我們為這一問題提出了新的方法：采用認知心理學中的方法來理解深度神經網絡。
認知心理學通過測量行為來推斷認知的機理，有大量文獻描述這些機理，更不乏相關的實驗論證。隨著我們的神經網絡在一些特定任務上接近人類水平，認知心理學中的一些方法和黑箱問題的關系越來越緊密。
為了展示這一點，我們的研究報告包括了一個案例研究：我們設計了一個實驗，來闡明人類認知，從而幫助我們理解深度神經網絡是如何完成一個圖像分類任務的。
我們的研究顯示，認知心理學家觀察到的行為，同樣出現在深度神經網絡中。而且，對于網絡是如何完成圖像分類任務的，研究結果揭示出有用且令人驚訝的洞見。更籠統地說，案例研究的成功體現出了使用認知心理學理解深度學習系統的潛力。
用小樣本詞匯學習模型測量形狀偏好。
在我們的案例研究中，我們思考了兒童是如何識別和標識物體的——認知發展心理學對此研究較為豐富。兒童從一個示例中猜出一個單詞的意義——所以稱為小樣本詞匯學習——進行得是如此簡單，讓人禁不住認為小樣本學習是一個簡單的過程。然而，哲學家Willard Van Orman Quine 提出的經典思想實驗卻展現出這是個多么復雜的問題。
一位田野語言學家去拜訪一個語言完全不同的文化。該語言學家正在努力從一位熱心的本地人那里學一些詞語。這時一只兔子迅速地跑過。本地人說：“gavagai”，語言學家這時需要推理這個新詞語的意義。語言學家面對的可能性多種多樣，“gavagai”指的可能是兔子、動物、白色的東西、這只具體的兔子或是兔子的某個部位。有無數種可能的推理，人類如何能選出對的那一個？
“Gavagai”所指為何？
50年以后，對于能夠進行小樣本學習的深度神經網絡，我們有了同樣的問題。比如 Matching Network——DeepMind 開發出的一種神經網絡。這一模型采用了注意力和記憶方面的最新進展，憑借一個孤立樣本就取得了 ImageNet 圖像分類任務中的目前最佳性能。
為了理解這是如何做到的，我們考察了發展心理學的研究成果。這些研究發現，兒童會通過采用歸納偏好來消除許多不正確的推理，找到正確的推理。這種偏好包括：
整體偏好：通過整體偏好，兒童假設一個詞語指向的是一個完整物體，而非其組件（這排除了“gavagai”是兔子某個部分的想法）；
分類偏好：通過分類偏好，兒童假設一個詞語指向的是一件事物的基本類別（這減小了“gavagai”是所有動物的可能性）
形狀偏好，通過形狀偏好，兒童假設一個名詞的意義是基于一件事物的形狀而顏色或材質（這減小了“gavagai”是白色物體的可能性）
我們選擇衡量神經網絡的形狀偏好是因為針對人類的這一偏好有相當多的研究。
認知心理學中外部刺激的部分樣例，用于測量我們深度網絡的形狀偏好。由印第安納大學認知發展實驗室的 Linda Smith 提供。
我們采用的經典的形狀偏好實驗過程操作如下：我們向深度神經網絡展示了三個物體的圖形：一個測試物體，一個與測試物體顏色相同但形狀不同的物體，一個與測試物體形狀相同但顏色不同的物體。之后我們通過記錄測試物體和和形狀相同物體而非顏色相同物體被做出同樣標注的次數占比來測量形狀偏好。
我們使用的圖形是印第安納大學認知發展實驗室用于人類實驗時使用的圖形。
Matching network 認知心理學實驗的示意圖。Matching network 將測試用物體（左圖）與形狀相同物體A(上圖，中)與顏色相同物體B（上圖，右）進行匹配。輸出結果（右下）取決于 Matching network 形狀偏好的強度。
我們用我們的深度網絡（Matching Network 及生成基準模型）來嘗試這一實驗，并且發現我們的網絡如同人類一樣對物體的形狀有更強的偏好（相比較對物體的顏色或質地而言）。換言之，它們也具備形狀偏好。
這說明 Matching Network 及生成分類模型采用了基于形狀的推導偏好來剔除錯誤的假設，向我們清晰地展示了它們是如何掌握小樣本詞匯學習的。
對于形狀偏好的觀察結果并不是唯一有趣的發現：我們還觀察到，形狀偏好在網絡訓練之初是逐步顯現的。這不禁令人聯想到人類形狀偏好的發展過程：心理學家們發現年齡偏大的兒童的形狀偏好高于年齡偏小的兒童，而成人展現出的形狀偏好最高。
我們還發現基于初始化和訓練時隨機采用的樣本的不同，網絡展現出的偏好水平也有所差異。因此我們認識到，在深度學習系統的實驗中，必須通過大量的訓練模型樣本來得出可靠的實驗結果，就如同心理學家不能夠僅通過一個實驗對象得出結論一樣。
此外，我們注意到，即便各自的形狀偏好非常不同，不同的網絡也展現出同等的小樣本學習的能力，顯示出不同的網絡在解決復雜問題時能夠各自找出同等有效的方法。
這一神經網絡結構中此前未被辨識的偏好的發現證明了使用人工認知心理學來解讀神經網絡解決問題過程的可能性。其他一些領域中，情景記憶的理論可被用來理解情景記憶結構，而語義認知的技術可被用于理解最近出現的概念形成模型。這些及其他一些領域內的心理學相關研究成果非常豐富，成為我們解決“黑箱”問題及深入理解神經網絡行為的新工具。
深度神經網絡（DNN）在一系列廣泛的復雜任務上取得了進展，對于深度神經網絡給出的解決方案，我們已經無法理解其本質。雖然這方面的研究一直在進行，但還沒有人利用認知心理學家發明的一系列研究人類認知的實驗方法。為了探索將認知心理學方法應用于此問題的潛在價值，我們從發展心理學中選取了一種較為成熟的分析方法，將其應用于對深度神經網絡的研究中。這種分析方法解釋了兒童是如何學習物體的詞語名稱的。憑借使用受認知心理學實驗啟發的刺激的數據集，我們發現，在 ImageNet 上訓練的最先進的小樣本學習模型，展示出了和人類一樣的偏好：它們傾向于根據形狀對物體分類，而非顏色。這種形狀偏好在架構相同但種子不同的模型中有很大差異，甚至在訓練過程中隨種子不同而波動，不過分類性能幾乎相當。研究結果體現了認知心理學工具在揭示 DNN 隱藏計算過程方面的能力，同時也給我們提供了一個人類詞匯學習的計算模型。
DeepMind 的論文介紹博客剛發了幾個小時，就有科羅拉多大學的學者Brian Mingus 指出，DeepMind 是把自己的研究包裝成了全新的。
雖然大多數現代深度學習研究者對模型闡釋的研究沒有從認知心理學中借鑒，但如果說“從沒有人做過”，則也是不對的。
自從上世紀 80 年代 Parallel Distributed Processing（https://stanford.edu/~jlmcc/）教材問世，認知心理學家一直在使用深度神經網絡作為大腦模型；當然，有人會堅持認為如果反過來，將大腦看作是你模型的模型，則是全新的研究。然而最終，這種堅持沒什么意義，因為這兩種理念基本上是相等的：當你研究得足夠深入，把人類大腦概念化，看作是一個深度神經網絡，那么當你研究深度神經網絡時，不把人類認知投射上去，是不太可能的。
所以，到底是怎么回事？在 Science 雜志上發表的一篇名為The Last Inventorof the Telephone （http://science.sciencemag.org/content/319/5871/1759.2）的論文里，LSTM和神經網絡開創者之一的Jürgen Schmidhuber（他可能是諸位“之父”中名聲最不顯的一個）談到了“學術抄底”的現象，認為科學界和工程界都有此類現象：當新研究者發現別人已經做過的研究，新研究者有機會把它包裝成是自己全新的研究。這當然可以使新研究者名利雙收，但互聯網的存在則有助于我們打破這一陋習，把功勞歸功于原始研究者。在認知心理學的歷史中，我們會發現豐富的理論基礎，不僅是把人類理解為深度學習模型的，也包括把深度學習模型當作人類去理解。
編譯來源：https://deepmind.com/blog/cognitive-psychology/
