沒人真正知道最尖端的算法的運作過程，而這顯然是個嚴重問題。
原作丨Will Knight
編譯丨Alina
原文丨MIT Technology Review
去年，一輛神秘的無人駕駛汽車被投放在新澤西州蒙茅斯郡無人的街道上。這輛由Nvidia芯片制造公司的研究員開發的試驗無人車看起來沒什么特別的，不過，它和Google、特斯拉或者通用汽車研發的車輛都不一樣。事實上，它甚至是AI力量崛起的化身。這輛無人駕駛汽車并非在實施程序員或工程師編寫的指令，相反，它在觀察人類后，完全依靠著自學的算法運行。
誠然，做出這樣的進步不愧為是一大壯舉，但這一壯舉難免令人感到不安，畢竟沒人知道這輛車到底是如何做出每一步決定的。運行過程中，汽車的傳感器直接通過處理數據的巨大神經網絡將信息發送，控制方向盤、剎車以及汽車的各個系統，而指令的最終成果甚至和人類駕駛員開并無二致。不過難以預料的事總可能發生，萬一哪天這輛車沖撞到樹上，或者在綠燈前停下呢？誰也說不準。畢竟目前為止，沒有人能夠解析它的步驟。這輛無人駕駛汽車的系統過于復雜，連設計這輛車的程序員都無從解構它的每一步行為后再找出相應理由。當然，要去讓這輛車自己解答更是天方夜譚——你哪里見過系統可以自我解釋是如何執行命令的呢？
無人汽車的神秘算法是對于人類的警告，由人工智能引發的種種問題正在向我們逼近。近幾年來，已經無人懷疑隱藏在無人駕駛汽車背后的AI技術，即深度學習，在解決各種問題時能展現出多大的能力，深度學習也早已被廣泛應用于各個領域，例如為添加圖片字幕，識別語音、多語種翻譯等等。如今，人工智能應用于診療絕癥、交易大宗財產或是其他足以改變行業現狀的事務已經不再是遙不可及的夢想。它們正在成為現實。
然而，如果人類無法找出解決辦法能夠更好地了解這些技術，開發者無法更好地掌控這些技術，上述的事永遠都不可能，或者說不應該發生。不然的話，我們根本難以預料機器失誤會何時產生——而事實證明失誤總是難以避免。這也是為什么Nvidia開發的無人汽車仍處于實驗階段。
目前，數學模型已經可以用于幫助決定假釋犯人、貸款人員或是受聘員工的名單。如果你有幸能夠接觸到這些數學模型，你或許可以了解其背后的原理。然而無論是銀行、軍隊、或是企業老板還是其他人，他們的注意力都集中在更為復雜的機器學習方法上，這些方法可以做出更自動化，也更為高深莫測的決定。在常見的機器學習方法中，深度學習就是完全不同的編程方法之一。“這已經成為了一個嚴重的問題，未來還會更趨嚴重，”在MIT研究機器學習應用的教授Tommi Jaakkola表示，“不管是投資決策，醫療決策或是軍事決策，沒有人會想僅僅依靠一個‘黑匣子’就做出最終抉擇。”
Tommi Jaakkola
那么，是否應該將質問AI系統如何得出最終結論？在業界這個問題已經開始引起爭論。自2018年的夏季起，歐盟或許會要求各大公司向用戶解釋他們的AI系統到底如何做出最終決策的。然而這一要求其實并不現實，即使是表面看起來相對簡單的系統，比如運用深度學習發布廣告或推薦歌曲的應用軟件或網站，實施起來依然有一定困難。運行這些程序的電腦實際是在自我操控，他們的運作方式可能無人能理解，就算是設計程序的工程師也沒有辦法做出完全詳細的解釋。
這一現狀就向人類提出了一些難以逾越的難題。隨著科技發展，人類可能即將跨過某些看不見的尺度，在那個時候，使用人工智能或許還需要賦予它極大的信任才可以。人類也無法完全解釋自己的思想過程，但我們也可以憑著直覺做出判斷，選擇是否信任某些人。那么人類在將來是否可以仿照這一做法，對待機器就如同對待陌生人一樣——憑直覺判斷，選擇信任還是懷疑？畢竟在歷史上還從未出現過我們親手制造卻無法理解的機器程序。那么將來在面對這些無法預測行為的神秘機器人，我們將如何與之相處溝通？
這些問題引領著我不斷探究AI算法的前沿領域，我采訪了Google、蘋果公司和各種科技公司的AI專家，甚至還親自拜訪了這個時代最偉大的哲學家之一。
（藝術家Adam Ferriss使用Google的“深度夢境”創造了這一圖像，下圖相同。“深度夢境”能夠莫伊深度神經網絡的認知模式來調整圖像。此圖采用了神經網絡的中級層次。 作者：ADAM FERRISS）
2015年，紐約西奈山醫院的一個研究團隊將深度學習應用于記錄患者的全面數據，包括檢驗結果，診療記錄等等。醫院的研究團隊將這套程序命名為“深度患者”（Deep Patient），用于記錄大約700000名患者的病情數據。當“深度患者”用于測試新的病人數據時，它對與病人病情的推斷準確得令人難以置信。雖然沒有任何專業性設備，但是“深度患者”通過對數據的分析發現了隱藏在背后的某些規律，因此它得以成功地推斷哪些人在什么時候可能患病，甚至包括癌癥。西奈山研究團隊的對賬Joel Dudley表示，“深度患者”掌握了各種手段根據記錄“完美地”預測病情，當然，“完美”一詞只是相較于人類而言的。
同時，“深度患者”也有些讓人捉摸不透。試驗中，“深度患者”表現出了對于精神疾病預測的高度精準性，令人震驚。例如精神分裂癥有多難預料簡直是醫學界“臭名昭著”的難題，而讓Dudley疑惑的是，“深度患者”到底是如何做出準確分析的，對此，他至今沒有得出什么結論，畢竟機器人也沒有給他任何提示。如果在未來，機器人將真正幫助醫生進行診療，它們一定得在給出預測的同時做出合理闡述，給出理論依據，證明推斷是正確的，或者臨時改變病人的藥物是合理的。“我們的確可以建立這些模型，”Dudley顯得有點悲傷，“但我們卻弄不懂他們到底是如何運作的。”
然而，人工智能并非歷來如此。自人工智能誕生以來，就有兩個對立的學派對于人工智能應該被理解和被詮釋的程度多少有不同的觀點。許多人認為我們制造的機器應該是根據邏輯規則合理運營的，它們的內部流程應當對程序員完全透明化。而另一部分人卻認為，“智能化”一詞最好的體現就應該是機器能夠學習觀察，獲知經驗，然后完全按照某種“生理習性”自由運作——而這也意味著計算機編程實際上被轉化成了機器的大腦。不同于程序員編寫指令解決問題，機器人可以根據實例數據運行算法，輸出結果。機器學習技術發展至今，顯而易見人工智能系統的走向更偏向于后一學派的理念：機器自我編程。
起初，這種機器自我編程的做法使用具有很大的局限，直到1960至1970年代，它們還被限制于專業領域中。然而，計算機在各行業中的大量運用以及大數據的崛起燃起了人們新的興趣，于是更為強大的機器學習科技誕生了，尤其是如今赫赫有名的“人工神經網絡”。至1990年代，神經網絡已經可以自動將手寫字符數字化。
不過，真正的跨越式發展仍出現在近十年內。在歷經幾次失敗和改進后，神經網絡在自動認知領域展現了驚人的潛力和進展，深度學習的確是近日人工智能蓬勃發展的源頭，它給予了計算機無窮的力量——就如人類可以識別語音文字這一技能一樣，復雜得讓人難以逐步記錄流程。深度學習在對計算機進行革新時，也極大地提升了機器翻譯。如今，深度學習已經在醫藥、金融、手工等各行各業應用，幫助人類做出各種重要決定。
（作者：ADAM FERRISS）
機器學習科技在其本質上就比手工編碼系統更晦澀難懂，就算對于計算機科學家亦是如此。當然，這并不是說將來所有的AI技術都將變得難以理解，我們只是提出在本質上，深度學習本身就是一個神秘的黑匣子。
僅僅深入看看深度神經系統里到底是什么是不足以弄清它的工作原理的。一個網絡的推理運算包含于成千上萬個模擬神經元的行為之中，再被分配至幾十個，甚至是幾百個錯綜復雜的內部聯結層級之中。神經元是接收輸入信息的第一層。比如一張圖片的像素亮度首先發送至神經元，接著才會執行運算，輸出新信號。輸出信號將流入復雜的網絡，傳送至下一層級的神經元。如此周而復始，直到機器完成輸出。在此期間，單獨的神經元會糾正其運算以求最好的輸出結果，因此這一過程也被稱為“反向傳播”。
一個深度網絡中的不同層級可以在不同的抽象級別上識別事物。如果是一個專為識別狗的系統，那么最低層次就負責識別最簡單的特征，例如狗的輪廓或是顏色；高級一些的層次就負責識別略為復雜的特征，比如毛發和眼睛等；最后，最高層次就負責鑒定狗的品種。簡單來說，這種做法就可以應用于別的機器輸入，自學人類經驗，例如演講的聲音、書信中的語言文字或者汽車行駛時該如何操作方向盤。
當然，已經有人用獨創的戰略設備試圖捕獲機器運行的步驟，以更詳細地解釋系統運行時到底發生了什么。2015年是，Google的研究員修繕了某個建立于深度學習的圖像識別算法，之后，這一算法不僅能簡單地在照片中定位物品，更能直接生產物品或者改變物品。通過反向運行算法，研究員們得以理解這一程序如何識別照片上的物體。以照片上的小鳥和建筑舉例，在這個名為“深度夢境”（Deep Dream）的工程最終顯示的圖像上，形似外星人的動物逐漸從云端與植被中顯現，夢幻模糊的佛塔漸漸透過森林和山脈躍然紙上。這些圖像證明了，深度學習也并不一定全是高深莫測的，Google的研究員就成功地解密了這些熟悉的圖像是如何被識別的。不過這些圖像也同樣在預告我們深度學習與人類認知的巨大差距，這樣一來，人們甚至可能忽略人工智能產生的一些結果。Google的研究員注意到，當算法繪制出一幅啞鈴的圖像，它也同時繪制出了舉起啞鈴的手臂。因為在機器看來，手臂已經是啞鈴的一部分了。
借著神經科學和認知科學的助力，人工智能再進一步。美國懷俄明州立大學的助理教授Jeff Clune帶領了一個小隊，用光學錯覺等效人工智能來測試深度神經網絡。2015年，Clune的團隊發現一旦圖像采用了機器系統正在搜尋的低級的模式，神經網絡就會被這些圖像欺騙，接收到根本不存在的信息。Clune的合作人Jason Yosinski同樣建立了用以探測大腦的工具。這一探測工具旨在監測神經網絡中央的一些神經元，從中找出到底是哪些圖像最能刺激神經。研究發現，圖像大多是抽象的（比如印象派畫風的火烈鳥，或者校車之類的），這也進一步證明了機器感知能力的神秘性。
（圖為1960年，早期的人工神經網絡處理燈光傳感器的輸出流程，位于紐約水牛城康奈爾航空實驗室）
然而，對于人工智能的“思考方式”，僅僅管中窺豹遠遠不夠。深度神經網絡中運算程序的交互作用才是高級認知和復雜決策的關鍵因素，然而這些運算對于數學方程和變量卻宛如泥沼。“假如只是一個很小的神經網絡，你可能能夠搞懂它到底是如何運作的，”Jaakkola表示，“但是一旦這個神經網絡相當大，比如說它有上百個層級，每層又由上千個單元組成，那么要搞懂它就顯得有些天方夜譚。”
Jaakkola和MIT教授Regina Barzilay的辦公室毗鄰，Barzilay長久以來致力于將機器學習應用于醫藥。幾年前，43歲的Barzilay被診斷出患有乳腺癌。當然，這一診斷結果的本身的確不是什么好事，但讓Barzilay更沮喪的是如今前沿的數據統計系統和機器學習方法都不足以解決這些腫瘤的疑難雜癥，也不能有效指導治療。她認為人工智能有巨大的潛力變革目前的醫藥學，但是要開發這種潛力，人們不能只局限于用機器學習記載診療記錄。Barzilay設想可以更大程度上使用這些原始數據，顯然她認為這些數據在目前都還沒有被物盡其用：“想想看我們擁有多少大數據，多少有關病理的大數據？”
Regina Barzilay
去年，在結束了癌癥療程后，Barzilay和她的學生與麻省綜合醫院的醫生們聯手開發了一種系統，能夠通過挖掘病理學報告來識別有特殊臨床表現的病人，供研究者研習。然而，Barzilay也同樣認識到，系統在運作時需要給出合理的解釋。之后，她與Jaakkola和另一名學生又進一步完善系統，使其能夠摘取并且突出顯示病理報告中具體表明特殊臨床表現的文字片段。Barzilay和學生還開發了另一種深度學習算法，能在乳房X線圖像中探測出乳腺癌的早期征兆。現在她們正在致力于讓系統能夠解釋其工作原理。“人類和機器必須得聯手工作，相互提升。”Barzilay認為。
美國軍方已經投資數十億用于機器學習項目，力圖在將來可以操控汽車和飛行器，識別目標，從海量智能數據中篩選重要數據分析。不同于其他領域，軍方運用算法時不允許容忍任何無法解釋的程序，所以美國國防部在研究機器學習時，如何確認機器的可解釋性成為一大難題。
DARPA開發的戰斗機器狗
美國國防部高級研究計劃局（DARPA）的項目經理David Gunning目前正在監測一項名為“可解釋性人工智能”的項目。Gunning曾經參與監測了Siri的開發項目，而如今他已經白發蒼蒼。他說，自動化已經不知不覺地覆蓋了軍事項目中不計其數的領域。目前，人工智能分析師正在嘗試用機器學習鑒定海量監控數據中的模式。各種各樣的自動化汽車或飛行器正在被陸續開發、測試。然而，沒有士兵會喜歡一輛不知其原理的自動機器人坦克，當然，分析師也不可能在不知原因的狀況下就對機器給出的信息做出相應反應。“機器學習系統給出錯誤警報是一件很常見的事，所以軍事分析師必須借助系統做出的解釋才能決定是否做出反應。”Gunning解釋道。
David Gunning
今年三月，DARPA從學界和行業中挑選出了13個項目進行資助，隸屬于Gunning監測的項目之下。這13個項目中，有些可以建立在華盛頓大學教授Carlos Guestrin的工程之上。Guestrin和他的同事已經研究出解決方案，讓機器學習系統為輸出結果提供合理的解釋。因此，通過這一解決方案，能夠自動從數據中找到案例的機器人就能同時給出運作原理。比如用以識別恐怖分子郵件的機器系統是通過數百萬的郵件學習后才能得出結論。在使用Guestrin的方法后，機器系統還能夠在郵件中標出關鍵詞。此外，Guestrin的團隊還設計出了另一種方法，讓圖像識別系統突出強調圖像中最重要的部分，以此解釋其工作原理。
然而，這一方式和其他類似的方式，諸如Barzilay研發的方法一樣，都有同樣的缺陷——系統提供的解釋過于簡單，在傳送過程中極有可能丟失重要信息。“理想境界”是一旦AI和人類對話，它就能提供解釋。顯然，我們還沒做到完美。”Guestrin表示，“距離最后目標，我們還有很長的路要走。”
不止是癌癥診療或是軍方決策這種高風險領域，人工智能能否為決策提供解釋對于科技發展為人類日程生活中的一部分至關重要。Tom Gruber在蘋果公司帶領Siri的研發團隊，他說，“解釋性”至關重要，只有理解才能讓Siri變為更智能，更高效的語音助手。Gruber目前并不想透露未來Siri將如何發展，但很顯然，任何一個人在接受Siri的附近餐廳推薦時都想知道它推薦的原因是什么。作為蘋果公司AI研究的主管及卡耐基梅隆大學的副教授，Ruslan Salakhutdinov將“解釋性”視為將來人類與智能機器關系發展中的核心。“只有能夠解釋才能擁有相互信任。”他說。
Ruslan Salakhutdinov
然而，就連人類也有很多行為不能解釋，人工智能可能同樣如此。“就算有個人能夠相對合理地解釋（他/她的行為），這種解釋也可能是不完整的，所以人工智能也會有這種狀況，”Clune認為，“可能這就是所謂‘智力’吧，僅有一部分能夠給出合理解釋，而另一部分或是直覺，或是潛意識，或是神秘莫測。總之難以訴諸言表。”
如果的確如Clune說的那樣，那么或許我們只能選擇要么相信AI的決策，要么拋棄AI。當然，AI的決策在發展時必須和社會步調相吻合。就如人類社會建立在某種看不見的契約之上，我們設計的AI系統也必須尊重、符合我們的社會準則。一旦我們要設計出機器坦克或是“死刑機器”，我們必須保證他們的決策吻合于我們的道德體系。
為探究這些形而上學的概念，我也去塔夫斯大學會見了Daniel Dennet教授。Dennet是一位赫赫有名的哲學家以及認知科學家，如今在研究人類的意識及思想。Dennett最近出版的關于人類意識的百科專著《從細菌到巴赫，從巴赫到細菌》（From Bacteria to Bach and Back）中的某個章節提到，智力在進化過程中一個非常自然的階段就是演化出了某種體系可以執行連自己都無法解釋的行為。“而問題在于，人類應該如何自我調節以做出最明智的抉擇，我們對于自我的標準應該定在哪里？對于‘智能’的標準又在哪里？”在那個位于田園牧歌般的大學校園里，Dennet的辦公室顯得有些雜亂。他如是對我說道。
對于科學家們對“可解釋性”孜孜不倦的追求，他也提出了警示。“我認為，如果總有一天我們必須運用這些技術，并且生活將依靠于這些技術，那我們一定要盡可能了解這些技術給出的方案背后的原因和原理。”他說道。然而，鑒于我們至今都不能給出一個完美的解決方案，我們依然要對AI給出的解釋也抱有警惕，就算是再智能的機器也同樣如此。
“如果機器無法和我們一樣給出決策的原因，”他說，“那么不要相信它。”
