人是最活躍的自由因子。隨著人工智能社會的到來，人與人互動而造成的復雜現象會超過人工智能本身的技術解釋能力。
《馭天算法》（Master Algorithm）的作者多明格斯（Pedro Domingos）說:“所有的知識，過去、現在、將來，都終將可以由單一的通用學習算法處理數據而成”，這個單一的通用算法就是“馭天算法”。
如果“馭天算法”出現，人工智能很有可能遭遇到布克斯特伯（Richard Bookstaber）在《理論的盡頭》（The End of Theory: Financial Crises, the Failure of Economics, and the Sweep of Human Interaction）中所描述的四大難題。布克斯特伯在書中提到，人是最活躍的自由因子。隨著人工智能社會的到來，人與人互動而造成的復雜現象會超過人工智能本身的技術解釋能力。
第一個是“漸顯現象”的難題 (emergent phenomenon)。
典型“漸顯現象”表現在一大群動物“狂奔踩踏”（stampede）。在我居住的加拿大卡爾加里有年度“狂奔節”。它取自早期土著人利用牦牛的群體狂奔特性，驅趕牛群投崖自殺。野牛狂奔總是呈現出一個特征。它逐漸顯現、開始由個體影響個體、最終成為有約束性的群體行為。個體的“理性”行為，如逃避狩獵追捕，逐漸呈現到集體層次時，它變成難以理解，如一齊奔投斷崖。個體行為相互影響而形成集體趨勢，它不一定都是“壞”結果，但結果往往無法預測，因為它取決個體之間的互動過程特征。
“漸顯現象”在自然界中普遍存在，天空中群鳥齊飛就是一種“漸顯現象”。軟件工程師雷諾茲（Craig Reynolds）建立了一個模型，解釋鳥類群飛的形成規律：（1）保持與其它鳥之間的距離。（2）保持與鄰近的鳥伴一致的速度和方向。（3）總是努力靠近群鳥的中心位置。結論是，“漸顯現象”也是有規律可循，不過它的規律不是那么精確細膩，更體現一種粗獷的、大致的、靈活的指導性原則。科學家稱之為魯棒的（robust）、啟發式的（heuristics）指導原則。
如今，人工智能已經把魯棒的、啟迪的認知原則結合到最新的深度學習之中。谷歌的“Alpha Go”大勝人類選手，依靠的就是人工智能的深度學習和多層卷積神經網絡算法。通俗地講，“Alpha Go”超越過去用邏輯和概率分布的方法，因為它不可能窮盡圍棋的宇宙量級的步驟。新的算法融合人的思考習慣，把過去各位大師判斷的直觀啟迪原則結合到步驟分析中。更進一步的是，它不斷根據對手的步驟閉環修改過去的判斷（既有反饋，又有前饋）。在閉環回饋中，任何前面步驟（歷史上）的非優化選擇不斷得到優化。大數據、邏輯概率運算、直觀啟迪原則、閉環回饋，這四者與電腦硬件相結合，“Alpha Go”戰無不勝。
然而，人工智能的一個策略盲點恰恰就在它對魯棒式的、啟發式的直觀原則精細化算法中。它把原本非理性的成分統統理性化了。
社會“漸顯現象”有三個要素，它們本質上顯示漸顯過程的不完美性和不可操縱性。
第一，作為個體的人是自由因子（agent）。他/她做有限理性的決策，他們的互動形成漸顯現象。群體漸顯的結果不一定符合個體追求的目標。個體理性，集體可能非理性。例如，金融危機時，個體逃離行為造成市場踐踏，產生救市的反效果。
第二，魯棒式的、直觀啟發式的原則之所以存在，就是因為有容錯的進化要求。這些看似大而化之的直觀原則不精確、不邏輯甚至非理性，但有生物進化的優勢。例如，類似孔雀以開屏擇偶，選擇新興的軟件產品時，用戶企業傾向于追隨行業大戶，因為這個魯棒的直觀原則有代表性的信息優勢。隨大戶，企業可以忽略許多信息，簡化判斷過程。
第三，漸顯現象的直觀啟發原則穩定，但內容和過程形式有各種變異，因為人的愚蠢性往往只有到現象顯示成形后才能被認知。例如，類似2008年的金融危機在歷史上發生多起，只不過內容和過程有差異。而人的愚蠢性是人性的一部分，不可剝離。
可是，人工智能在深度學習上的發展已經改寫了社會“漸顯現象”的上述三要素：（1）閉環回饋、反芻式學習系統可以不斷修改歷史經驗，去除歷史判斷的“錯誤”。（2）經過精細化分析，魯棒式的直觀啟發原則已經異化，失去它們在有機生命進化過程中的原始作用。（3）“愚蠢性”只會在算法里出現一次，不會重復，因為歷史經驗可以在閉環回饋中修改。
這樣一來，社會互動可能成為算法的“奴隸”！漸顯現象可以完美化，可以被操縱！待到超級智能出現，我們是否會懷念愚蠢的價值？
第二個是不可減約性（computational irreducibility）的難題。
在《理論的盡頭》中，布克斯特伯這樣解釋，用比例縮減的方法，地圖代表表現所覆蓋的地貌，但是，如果有一種地貌，縮減了就失真，只能原貌理解，那它就有計算上的不可減約性，地圖非得和地貌一樣大。
著名的“生命游戲”為理解不可減約性提供了一個生動的參考。20世紀70年代，數學家康威（John Conway）設計了一個“生命游戲”（game of life）。它模擬細胞自我復制的過程。游戲本身只有簡單的規則（算法）。他要研究同樣的規則和重復的過程是否能產生同樣的結果。實驗答案是否定的。你必須經歷過整個自我復制的過程才能看到最后結果。即使演變規則和過程確定，結果狀態仍然無法事先決定。
今天的人工智能技術發展體現在算法、硬件、云計算、大數據、網絡這五個方面。參考尼爾森（Nils Nilsson）的《人工智能探尋歷史》（The Quest of Artificial Intelligence）, 我們看到今天較為成熟的五方面技術經歷過至少八個學科（邏輯、電腦、心理學、數學、語言學、文化人類學、神經科學、倫理學）交錯影響的發展過程。但一個嚴重的問題是，目前人工智能在應用領域只強調單項功能優化，未能保持跨學科融合。
怎樣避免單點技術突飛猛進，進而左右人工智能未來的發展？怎樣保持相關的學科持續參與超級智能形成過程？忽視“不可減約性”，就不能體會堅持跨學科融通的重要性。
“生命游戲”證明每一次生命產生不可減約。只有經歷全過程，才能看到每個生命的全貌。就像假設中無法用地圖縮減的地貌，無論算法多么強大，它難以減約八個學科交錯影響的過程。除非保持跨學科融通，下一步人工智能發展必定發生荒誕現象。
第三個是極端不確定性（radical uncertainty）的難題，即我們常說的“無知的未知”可能帶來滅絕危機。
極端不確定性經典案例之一便是6千萬年前天外隕石造成地球物種大滅絕。對人工智能隱藏的極端不確定危險，牛津大學的博斯特倫（Nick Bostrom）假設四種發展前景：AI為工具，AI為專業領域的專家系統，AI為超人的任務執行者，AI為具備超級智慧的獨立主體。后兩種情形，無論是超級執行者或超級智慧主體，都可能給人類帶來極端不確定性的危險。當我們看到極端不確定可能帶來滅絕危機時，一切將無法改變。
超級智慧終將到來。按照博斯特倫推演，每一條可能的路徑都包含對人類未來的極端不確定性危險。第一，超級智慧可以通過選擇性進化的方式實現。有機生命進化過程中有諸多累贅的曲折。人工智能可以選擇性避免它們，達到超過人認知和行動能力的超級智慧階段。第二，它也可以通過全息模仿人腦的生理結構和活動而到達超級智慧。第三種是人機交合，匯總有機生命和無機生命的智慧。第四可以利用網絡，聯網所有的智慧體來創造新組織，制造新智慧系統。第五是綜合包括人和動物在內的一切超長能力，演變出超級生物體。
博斯特倫的研究表明，超級智慧誕生也許是一個百年的歷程。可是，一旦越過意愿的門檻，即人工智能有了自我意識，它就會以人類意想不到的速度和方式獲得決定性的戰略優勢。到那時，人可能被機器奴役，可能被超級智慧改寫意識和潛意識，可能成為雜交的新認知物種，也可能世界大同、合作共存。幾種情境中，人性被改造的可能性最高。
事實上，即便在目前的弱人工智能階段，它已經有了不可控的因子。深度學習中有“監控的學習”和“無監控的學習”。后者依靠人工智能的內部自我組織優化舊知識、制造新知識。所謂“人的最后一次創新”就是指創造出從此可以自我組織新知識的人工智能。在這一奇點之后，“控制”是一個過期的詞。如何與超級自由因子合作共存便成為人類不得不做的選擇。
第四個是社會價值與能力非均質分布（non-ergodic society）的難題。
統計學上的均質分布（ergodicity）概念對人工智能很重要。它是算法中包含的貝葉斯概率論（Bayesian probability）的前提條件。通俗地講，“均質分布”指大數據分析總結出來的規律對整個人口有普遍適用性。例如，在公共場合的某些綜合行為特征預示犯罪傾向。這個規律被納入算法，并假設它普遍適用于預防犯罪的人工智能中。可是，具有能動性的人與社會始終處在開放的、隨機的變化中。依據歷史數據的算法強制性地賦予新鮮社會情境以舊特征。被強制的“均質分布”掩蓋諸多社會價值和能力的“非均質分布”特征。它與“賊的兒子是賊，法官的兒子是法官”的偏見沒有本質區別。
人工智能給社會各個階層帶來的沖擊是非均質的，不是每個階層都同意的。當前從事重復性、規范化、低判斷能力工作的階層首先將被其替代。即使人工智能被社會大多數擁護，對少數人的剝奪是一個不可讓渡的權利問題。
人工智能引發的統治關系的改變是非均質的。第四范式的創始人戴文淵生動地描述了他們“先知系統”的潛在力量：讓牛頓和愛因斯坦失業！即使在弱人工智能階段，由少數超級智慧的科學家開發出來的算法有凌駕于領域專業技能之上的“馭天能力”（master capability）。它出現后，一個領域內的商業競爭便化為“政治統治”，即從價格關系轉換為知識權力關系。在商業統治與被統治關系下，企業意愿不可能一致，對超級算法的合法性一定有不同立場。
人工智能還有國與國之間、種族之間、當代人與未來人之間的非均質分布難題。我們的社會價值和能力偏好會影響到對人工智能發展道路和程度的選擇。但這不一定是其他人甚至下一代人愿意做出的選擇。
