本周《自然》發表的一篇論文Mastering the game of Go without human knowledge報道，一款新版的AlphaGo計算機程序能夠從空白狀態起，在不需要任何人類輸入的條件下，迅速自學圍棋。這款新程序名叫AlphaGo Zero，以100比0的戰績打敗了它的前任（在2016年3月的錦標賽中，其前任打敗了圍棋冠軍Lee Sedol）。
DeepMind的創始人 CEO Demis Hassabis
人工智能的最大挑戰是研發一種能從零開始、以超人類的水平學習復雜概念的算法。為了打敗人類圍棋世界冠軍，科學家在訓練上一款AlphaGo時，同時用到了監督式學習（基于上百萬種人類專業選手的下棋步驟）和基于自我對弈的強化學習。那款AlphaGo的訓練過程長達幾個月，用到多臺機器和48個TPU（神經網絡訓練所需的專業芯片）。
本文中，英國DeepMind的David Silver, Julian Schrittwieser, Karen Simonyan, Demis Hassabis和同事介紹了AlphaGo Zero，它的學習從零開始，且單純基于與自己的對弈。人類的輸入僅限于棋盤和棋子，沒有任何人類數據。AlphaGo Zero僅用到一張神經網絡，這張網絡經過訓練，專門預測程序自身的棋步和棋局的贏家，在每次自我對弈中進步。新程序只使用一臺機器和4個TPU。
通過幾天的訓練——包括近500萬局自我對弈——AlphaGo Zero便能夠超越人類并打敗所有之前的AlphaGo版本。隨著程序訓練的進行，它獨立發現了人類用幾千年才總結出來的圍棋規則，還建立了新的戰略，為這個古老的游戲帶來新見解。
論文深度解讀
下文作者為Nature上海辦公室的開明，內容未經過同行評議，已首發于果殼科學人。
人工智能棋手 AlphaGo先后戰勝了兩位頂尖圍棋高手李世乭和柯潔。在這場猛烈風暴席卷了世界后，AlphaGo宣布不再和人下棋。但它的創造者并沒有因此停下腳步，AlphaGo還在成長，今天Deepmind又在《自然》期刊上發表了關于 AlphaGo的新論文。
Deepmind于2016年1月28日在Nature雜志上發表第一篇關于AlphaGo的論文，并登上封面。
Nature
這篇論文中的 AlphaGo是全新的，它不是戰勝柯潔的那個最強的 Master，但卻是孿生兄弟。它的名字叫AlphaGo Zero。和以前的 AlphaGo相比，它：
· 從零開始學習，不需要任何人類的經驗
· 使用更少的算力得到了更好的結果
· 發現了新的圍棋定式
· 將策略網絡和值網絡合并
· 使用了深度殘差網絡
白板理論（Tabula rasa)
AlphaGo Zero最大的突破是實現了白板理論。白板理論是哲學上的一個著名觀點，認為嬰兒生下來是白板一塊，通過不斷訓練、成長獲得知識和智力。
作為 AI 領域的先驅，圖靈使用了這個想法。在提出了著名的“圖靈測試”的論文中，他從嬰兒是一塊白板出發，認為只要能用機器制造一個類似小孩的 AI，然后加以訓練，就能得到一個近似成人智力，甚至超越人類智力的AI。
現代科學了解到的事實并不是這樣，嬰兒生下來就有先天的一些能力，他們偏愛高熱量的食物，餓了就會哭鬧希望得到注意。這是生物體在億萬年的演化中學來的。
監督學習 Vs 無監督學習
計算機則完全不同，它沒有億萬年的演化，因此也沒有這些先天的知識，是真正的“白板一塊”。監督學習（Supervised Learning）和無監督學習（Unsupervised Learning）是鏡子的兩面，兩者都想解決同一個問題——如何讓機器從零開始獲得智能？
監督學習認為人要把自己的經驗教給機器。拿分辨貓貓和狗狗的AI來說，你需要準備幾千張照片，然后手把手教機器——哪張照片是貓，哪張照片是狗。機器會從中學習到分辨貓狗的細節，從毛發到眼睛到耳朵，然后舉一反三得去判斷一張它從沒見過的照片是貓貓還是狗狗。
而無監督學習認為機器要去自己摸索，自己發現規律。人的經驗或許能幫助機器掌握智能，但或許人的經驗是有缺陷的，不如讓機器自己發現新的，更好的規律。人的經驗就放一邊吧。
從無知到無敵
就像這篇新論文中講述的那樣。AlphaGo Zero是無監督學習的產物，而它的雙胞胎兄弟Master則用了監督學習的方法。在訓練了72小時后AlphaGo Zero就能打敗戰勝李世乭的 AlphaGo Lee，相比較AlphaGo Lee訓練了幾個月。而40天后，它能以89:11的成績，將戰勝了所有人類高手的Master甩在后面。
AlphaGo Zero從0開始的學習曲線,這個版本的神經網絡由40個模塊組成。
圖片來自DeepMind
圖靈的白板假設雖然無法用在人身上，但是AlphaGo Zero證明了，一個白板AI能夠被訓練成超越人類的圍棋高手。
強化學習
強化學習（Reinforcement Learning）是一種模仿人類學習方式的模型，它的基本方法是：要是機器得到了好的結果就能得到獎勵，要是得到差的結果就得到懲罰。AlphaGo Zero并沒有像之前的兄弟姐妹一樣被教育了人類的圍棋知識。它只是和不同版本的自己下棋，然后用勝者的思路來訓練新的版本，如此不斷重復。
AlphaGo Zero就像人類初學者，需要經歷一定時間摸索。不同訓練階段進行的三場自我對弈游戲中的頭80步，圖中顯示的下法來自AlphaGo Zero的一個版本，這個版本的神經網絡由20個模塊組成。
圖片來自DeepMind
通過這一方法，AlphaGo Zero完全自己摸索出了開局、收官、定式等以前人類已知的圍棋知識，也摸索出了新的定勢。
算法和性能
如何高效合理得利用計算資源？這是算法要解決的一個重要問題。AlphaGo Lee使用了48個TPU，更早版本的 AlphaGo Fan（打敗了樊麾的版本）使用了176個GPU，而Master和AlphaGo Zero僅僅用了4個TPU，也就是說一臺電腦足夠！
由于在硬件和算法上的進步，AlphaGo變得越來越有效率。
圖片來自DeepMind
AlphaGo Zero在72小時內就能超越AlphaGo Lee也表明，優秀的算法不僅僅能降低能耗，也能極大提高效率。另外這也說明，圍棋問題的復雜度并不需要動用大規模的計算能力，那是只浪費。
AlphaGo Zero的算法有兩處核心優化：將策略網絡（計算下子的概率）和值網絡（計算勝率）這兩個神經網絡結合，其實在第一篇 AlphaGo的論文中，這兩種網絡已經使用了類似的架構。另外，引入了深度殘差網絡（Deep Residual Network），比起之前的多層神經網絡效果更好。
Deepmind 的歷程
這不是 Deepmind第一次在《自然》上發論文，他們還在Nature上發表過《利用深度神經網絡和搜索樹成為圍棋大師》和《使用深度強化學習達到人類游戲玩家水平》（論文鏈接：http://rdcu.be/wRDs）以及《使用神經網絡和動態外存的混合計算模型》三篇論文，Deepmind在Nature Neuroscience上也發過多篇論文。
我們可以從中一窺 Deepmind的思路，他們尋找人類還沒有理解原理的游戲，游戲比起現實世界的問題要簡單很多。然后他們選擇了兩條路，一條道路是優化算法，另外一條道路是讓機器不受人類先入為主經驗的影響。
這兩條路交匯的終點，是那個真正能夠超越人的AI。
結語
這是AlphaGo 的終曲，也是一個全新的開始，相關技術將被用于造福人類，幫助科學家認識蛋白質折疊，制造出治療疑難雜癥的藥物，開發新材料，以制造以出更好的產品。?
點擊下方視頻，聽聽論文第一作者/通訊作者David Silver談這篇論文
視頻由DeepMind提供，中英文字幕由Nature上海辦公室制作
