模型的可解釋性，已然成為了AI 領域最具挑戰性的主題之一。
一般規律中，模型的復雜度和準確性往往是正相關的關系，而越高的復雜度也意味著模型越可能無法實現可解釋性。那 AI 模型的準確性和可解釋性就無法并存了嗎？
杜克大學副教授 Cynthia Rudin 、耶魯大學副教授 Joanna Radin 基于首個對黑盒模型提出可解釋性需求的挑戰賽——“可解釋性機器學習挑戰賽”，對這一問題進行了思考，并將觀點發表在了哈佛數據科學計劃與麻省理工學院出版社聯合推出的刊物《哈佛數據科學評論（HDSR）》上。
我們來看具體內容：
2018 年 12 月，在一年一度神經信息處理系統（NeurIPS）會議上，數百位頂級計算機科學家、金融工程師和高管在蒙特利爾會議中心的一個房間里，見證了一場由谷歌、Fair Isaac（(FICO）與伯克利、牛津、帝國理工、加州大學歐文分校和麻省理工學院的學者合作舉辦的著名競賽——“可解釋性機器學習挑戰賽”。
挑戰賽查看地址：https://community.fico.com/s/explainable-machine-learning-challenge
這是首個反映了這樣一種需求的數據科學挑戰賽：那些主導了基于機器學習的決策策略的黑盒模型所計算出來的成果，需要被梳理與消化。
在過去的幾年中，計算機視覺領域深度學習的進步導致人們普遍認為：針對任何既定的數據科學問題，最準確的模型必須是復雜且無法解釋的。
這種想法源于機器學習在社會中的歷史用途：它的現代技術是為例如在線廣告、網絡搜索之類的低風險決策而誕生，這些決策不會對人類的生活造成深遠的影響。
在機器學習中，這些黑盒模型通過算法直接從數據中創建，這意味著人們，即使創造它們的人，也無法理解如何將變量組合在一起進行預測。即使一個人有一個可輸入的變量列表，黑盒預測模型可以將其轉為復雜的函數變量，以至于沒有人可以理解變量之間是如何關聯來達成最終的預測。
在技術上可解釋的模型與黑盒模型是等效的，但是可解釋模型比黑盒模型更符合道德，兩者間的不同：可解釋模型被約束以更好地理解如何進行預測。
在某些情況下，我們可以很清楚地看到變量是如何聯系起來形成最終的預測結果，最終的預測結果可能只是簡短邏輯語句中的幾個變量組合在一起，或者是使用線性模型將變量加權并相加在一起。
有時，可解釋模型由放在一起的更簡單模型組成（可分解），或者對模型施加新的約束條件，但是，大多數機器學習模型的設計沒有可解釋的約束條件，它們只是為了在靜態數據集上為準確的預測變量而設計，它們可能代表也可能不代表模型在實踐中的使用方式。
認為必須犧牲準確性來換取可解釋性的觀點是不正確的。當非常簡單的可解釋模型用于相同的任務時，它允許公司為高風險決策推銷和出售私有或者復雜的黑盒模型。因此，模型創造者可以通過它來獲利并且無需考慮對個人的有害影響。
很少有人質疑這些模型，因為他們的設計師聲稱模型必須復雜才能準確。2018年的這場“可解釋機器學習挑戰賽”是一個案例研究，主旨在于考慮將黑盒模型與可解釋模型進行權衡。
在宣布挑戰賽獲勝者之前，主持人要求聽眾（包括金融，機器人技術和機器學習領域的能者）進行思想實驗，在該實驗場景中，他們患有癌癥，需要手術切除腫瘤。屏幕上顯示了兩張圖像，一張圖描述了一位人類外科醫生，他可以解釋有關手術的任何事情，但在手術過程中有15％的概率導致死亡。
另一幅圖像則顯示了只有在 2％的失敗幾率下才能執行手術的機器人，它其實是在模擬 AI 的黑盒方法。在這種情況下，他們需要完全信任機器人，不會對機器人提出任何問題，也不需要了解它是如何做出手術決定的。
然后，主持人要求觀眾舉手投票選擇他們愿意進行哪種拯救生命的手術。除了一票以外，其他所有人都投票選擇機器人。
雖然 2% 的死亡率比 15%的死亡率要好很多，但是以這種方式來架構 AI 系統的風險，會掩蓋一個更基本、更有趣的考慮：為什么機器人必須是黑盒？如果機器人具有自我解釋能力，它將會失去執行準確手術的能力嗎？機器人與患者之間的有效溝通是減少病人的護理而不僅僅只是改善嗎？病人難道不需要在手術前向機器人說明他們有凝血障礙嗎？
現場沒有將可能并不需要作為黑盒模型的機器人作為一種選擇，在座的的觀眾只能在準確的黑盒和不準確的透明盒子中進行選擇。觀眾沒有被告知手術結果的準確性是如何得出的（2%和15%分別測量的什么人群？），他們也沒有被告知用于訓練機器人的數據集的潛在缺陷。
在這一假設中，準確性必須以犧牲可以解釋性（了解為什么外科醫生要有做這些事情的能力）為代價。因此這項心理實驗未能考慮到可解釋性可能不會損壞準確性。而實際上，可解釋性甚至可以提高準確性，因為它可以幫助你了解模型（機器人）何時可能是錯誤的。
并非一定要在準確的機器和具有理解能力的人之間做出選擇，如此理解它有助于我們診斷由黑盒模型在整個社會中進行高風險決策所導致的問題。這些問題不僅存在于金融領域，而且還存在于醫療保健，刑事司法等領域。
我們可以給出一些證據表明，“必須犧牲一些可能性才能獲得準確性的模型”的設想是錯誤的，比如一個刑事司法系統中已經反復證明，利用黑盒模型的復雜性預測未來的逮捕情況，其準確性遠不及基于年齡和犯罪記錄的簡單預測模型（Angelino, Larus-Stone, Alabi, Seltzer, & Rudin, 2018; Tollenaar & van der Heijden, 2013; Zeng, Ustun, & Rudin, 2016）。
例如，Angelino 等人在 2018 年曾在一項僅考慮人的年齡和犯罪歷史的一些規則的研究中，創建了用于預測再次逮捕的機器學習模型。其完整的機器學習模型如下：如果此人有過三次以上的犯罪前科，或者18-20歲的男性，或者有兩到三次犯罪記錄的21-23歲男性，那么模型預計他們將在評估發生的兩年時間內再次被逮捕，否則不會。
盡管我們不一定提倡在刑事司法案件中使用這個該模型，但這套規則和黑盒模型（針對替代性模型的更正罪犯管理分析）一樣準確，黑盒模型已經廣泛合理使用于弗羅里達的布勞沃德縣（Angelino et al., 2018）。
上面的簡單模型也許和許多其他最新的機器學習方法一樣準確（Angelino et al., 2018）。在應用于其他數據集的許多不同類型的預測問題的機器學習方法中，也發現了相似的結果：可解釋模型（研究中的小型線性模型或邏輯模型）的表現與更復雜的模型（黑盒）有相同的效果（Zeng et al., 2016）。似乎沒有證據表明黑盒模型對犯罪風險預測會有所幫助。實際上，這些黑盒的缺點可能更明顯，因為它們更難排查故障，更難信任和更難使用。
在一些醫療領域以及可以改變生命決策的許多其他高風險機器學習應用中，似乎也沒有體現黑盒模型準確性的優勢（例如在 Caruana et al., 2015; Razavian et al., 2015; Rudin & Ustun, 2018 等論文中，作者都展示了具有可解釋性條件的模型，這些模型的表現和不受約束的模型一樣好）。
相反，黑盒模型可以掩蓋無數潛在的嚴重錯誤（e.g., see Rudin, 2019）。即使在以深度神經中樞（最難解釋的黑盒模型）為最先進技術的計算機視覺中，我們和其他科學家（e.g., Chen et al., 2019; Y. Li et al., 2017; L. Li, Liu, Chen, & Rudin, 2018; Ming, Xu, Qu, & Ren, 2019）已經找到了將可解釋性條件添加到深度學習模型中的方法，從而使計算更加透明。即使對用于計算機視覺的深度神經網絡，這些可解釋性約束也不會以犧牲準確性為代價。
信任黑盒模型意味著你不僅要信任模型的方程式，而且也要信任它所基于的整個數據庫。例如，在機器人和外科醫生的場景中，在不知道2%和15%是如何計算出來的情況下，我們應該針對特定亞群患者的數據之間的相關性持懷疑態度。
我們所看到的每一個復雜度適中的數據集都存在缺陷。這些范圍可以從大量的丟失數據（不是隨機丟失）或者無法測量的數據混淆到數據集中的系統錯誤（例如藥物治療的錯誤編碼），數據收集出現的問題，導致數據分布與最初的設想不一致。
黑盒模型在醫療領域中的一個常見問題是數據泄露，關于標簽變量 y 的某些信息以通過查看變量的標題和描述變量這種你可能不會覺察的方式，潛入變量 x 中：有時你認為自己正在預測將來的事物，但你只是在探測過去發生的事情。在預測醫療結果時，機器可能會利用醫生筆記中的信息，將這些信息在正式記錄患者病情之前透露出來，因此錯誤地將其聲明為成功的預測。
為了解決人們對黑盒模型不透明的普遍擔憂，一些科學家試圖對黑盒模型做出解釋，提出假設，解釋它們為什么會做出這樣的決定。這種解釋通常試圖使用一個完全不同的模型來模擬黑盒的預測(可能使用不同的重要變量，掩蓋了黑盒可能正在做的事情)，或者提供另一種統計，該統計信息提供了關于黑盒計算的不完整信息。這種解釋是膚淺的，甚至是空洞的，因為它們夸大了黑盒的權威，而是認為黑盒是必要的。有時，這些解釋是錯誤的。
例如，當 ProPublica 的記者試圖為累犯預測專設的COMPA模型解釋時（Angwin et al., 2016），他們似乎錯誤地認為，如果一個人可以建立一個近似于比較的線性模型，并依賴于種族、年齡和犯罪歷史，那么COMPAS本身必須依靠種族。
但是，當有人使用類似 COMPAS 非線性模型時，該模型不再依賴種族（Rudin, Wang, & Coker, 2019），僅對歷史犯罪和年齡有依賴性。這是一個關于黑盒的錯誤解釋如何導致失控的例子。
也許，如果司法系統僅使用可解釋的模型（我們和其他人已證明同樣準確），那么 ProPublica 的記者將能夠撰寫不同的故事。例如，也許他們可能會寫出這些分數的印刷錯誤是如何頻繁發生的，而沒有明顯的方法來解決它們，導致司法系統中改變生活的決策意見不一致（see, e.g., Rudin et al., 2019） 。
但是在 2018 年 NeurIPS 大會上，在擠滿了剛剛選擇機器人代替外科醫師的專家的會議室里，播音員繼續對比賽進行實況描述。 FICO 提供了房屋凈值信貸額度（HELOC）數據集，其中包含來自數千名匿名人的數據，包括其信用記錄的各個方面以及該人是否拖欠貸款。 競賽的目的是創建一個用于預測貸款違約的黑盒模型，然后解釋黑盒。
有人認為，對于要求參賽者創建黑盒并進行解釋的競賽，問題實際上是必須有一個黑盒。但事實并非如此。早在 2018 年 7 月，當 Duke 團隊收到數據時，并分析數據一周左右后，意識到可以在沒有黑盒的情況下有效地分析 FICO 數據。
無論是對線性模型使用深層神經網絡還是經典統計技術，我們都發現這兩種方法之間的準確性誤差不到1％，1%的誤差是在數據隨機抽樣誤差范圍之內。即使在使用提供了可解釋的模型的機器學習技術時，其準確性也與最佳黑盒模型準確性相差不多。
那時，我們也不知如何是好了。我們是否應該遵守規則，給法官們一個黑盒，我們是否應該遵守規則使用黑盒模型并向裁判解釋它？還是我們應該提供透明、可解釋的模型？換句話說，當你發現自己被迫陷入機器人與外科醫生的兩難抉擇時，你該怎么辦？
我們的團隊決定，對于像信用評分這樣重要的問題，我們不會為了解釋就向評選團隊提供黑盒。 取而代之的是，我們創建了一個即使沒有任何數學基礎的人也能夠理解的可解釋的模型，我們認為該模型可分解為不同的微型模型，每個微型模型都可以獨立被理解。
我們還為貸方和個人創建了一個額外的交互式在線可視化工具。在我們的網站上研究信用歷史因素可以讓人們了解哪些因素影響貸款申請決策，這種方式完全不需要黑盒。我們知道可能不會以這種方式贏得比賽，但我們需要提出更重要的事實。
可能有人認為，在許多應用程序中，可解釋的模型可能不如黑盒模型那么準確。 畢竟，如果你可以建立一個準確的可解釋模型，那么為什么還要使用黑盒呢？
但是，正如“可解釋機器學習挑戰”所揭示的那樣，實際上，在許多應用程序中，人們并不試圖構造一個可解釋的模型，因為他們可能認為對于復雜的數據集，可解釋的模型不可能像黑盒那么精確。 或者，他們想將模型保留為專有模型。 然后，人們可能會考慮是否可以為計算機視覺和時間序列分析構建可解釋的深度學習模型（e.g., Chen et al., 2019; Y. Li et al., 2017; O. Li et al., 2018; Ming et al., 2019），那么標準假設應是可解釋模型不存在，改為它們存在的假設，然后直到證明它們不存在為止。
此外，當科學家在構建模型時他們知道自己在做什么時，它們可以制造出更好的AI系統，來服務于依賴它們的人類。 在這些情況下，所謂的準確性與可解釋性之間的權衡被證明是謬論：具有更多可解釋性的模型通常變得更準確（而不是更少）。
準確的黑盒和不太準確的透明模型之間的錯誤對立已經過火了。當成千上百的領先科學家和金融公司高管都被這種二分法所誤導，請想象一下其他人是如何被愚弄。其影響是深遠的：它影響到我們的刑事司法、金融、醫療系統以及許多其他領域的運作。
我們需要堅持不將黑盒模型用于高風險決策，即除非根本無法構建能夠達到相同準確性水平的可解釋模型，否則我們不要將黑盒機器學習模型用于高風險決策。
我們完全有可能構建一個可解釋性與高準確性并存的 AI 模型——只是尚未嘗試過而已。也許，如果我們這樣做了，我們根本就不需要進行高風險決策。
