國防大學 胡曉峰
ChatGPT（智能聊天）和AIGC（智能內容生成）爆火出圈，引發全民狂歡。隨之而來的GPT4大模型更是讓人瞠目結舌，似乎通用人工智能（AGI）就要呼之欲出了。但同時，一批AI學者、科學家、哲學家或企業家大咖們，卻憂心忡忡，有人甚至到了夜不能寐的地步。
2023年3月29日，由圖靈獎得主、深度學習三巨頭之一本吉奧，特斯拉CEO馬斯克、蘋果聯合創始人沃茲尼亞克、《人類簡史》作者赫拉利等人聯名發表公開信，呼吁所有AI實驗室立即暫停訓練比GPT4更強大的AI系統，為期至少6個月，以確保人類能夠有效管理其風險。這封公開信已經有上千名全球科技界人士聯署。
2023年5月30日，“深度學習之父”的辛頓在退出谷歌后，再次牽頭發表公開聲明，呼吁“為減輕人工智能帶來的滅絕風險，應該與流行病和核戰爭等其他社會規模的風險一樣，成為全球優先事項”。結果又有幾百名AI科學家和企業家簽名表達支持，其中就包括創造出ChatGPT的OpenAI公司CEO阿爾特曼，以及創造出AlphaGo的DeepMind公司CEO哈薩比斯等人。
過去的技術進步給社會帶來的沖擊已經屢見不鮮。從機器革命到信息革命，再到基因革命，每次我們都充分享受了它們帶來的巨大成果，并推動社會不斷向前發展。雖然其中也有一些抗議、波折甚至沖突，但最后不也都相安無事、習以為常了嗎！但為什么這次以ChatGPT大模型技術突破帶來的智能革命這么讓人感到擔心呢？這些大咖們都在緊張些什么呢？我覺得可能主要是因為以下三個原因。
第一，機器智能首次發生涌現但卻是黑箱，人們擔心失去掌控。
什么是“涌現”？就是系統整體上突然呈現出一些新的性質或行為，而這些性質和行為往往無法從局部直接得到。ChatGPT就有這個特點：人類訓練它的只是局部語言應該如何接續，但由于建立的語言連接越來越復雜，終于在某一時刻超過了某個閾值，它就像“活了過來”一樣，突然“會說人話”，顯得好像具有了智能。這就是智能的涌現。科學家們過去一直在追求，但從來沒有發生過。
科學研究已經證明，這種涌現確實存在，而且也不是偶然現象。過去大多數所謂的智能問答系統，比如“Siri”“小度”“小愛同學”等，與它們的會話要么范圍很窄，要么無法連續進行，很難讓我們覺得它們真有智能。但ChatGPT則不然，對答如流，有求必應。即使它“一本正經的胡說八道”，反而更讓我們覺得它有“智能”，因為人是不會教他這樣說話的，而是它自己說出來的。
能涌現出智能這不很好嘛！那大咖們緊張什么呢？這是因為這種“智能涌現”并不都在人類的掌控之中。作為復雜系統的典型性質，智能涌現具有很多典型的特征：一是相變性效果，也就是一旦發生涌現，產生的整體性質和效果改變往往很大。就像水本來很柔軟，但一旦結成冰就會變得堅硬無比一樣，智能一旦發生涌現，其結果一定驚人。ChatGPT以及其后各項AIGC的能力就是證明。二是自組織過程，大模型是通過內部規則構建語言之間聯系建立起來的，但依據這些局部規則進行的自組織遞歸過程卻是非線性的，會導致越來越復雜的連接結果。最終當這個模型大到一定程度時，就會產生出更自然更復雜的會話效果，所以就更像是“說人話”。這就是所謂的“多者異也”，也就是“量變帶來質變”的涌現結果。但這個涌現到底會有哪些，會發生在什么時候，其實也很難預知，誰也不知道。三是黑箱性結果，不以人們的意志為轉移。由于模型是自組織構建的，所以會產生許多設計者也想象不到的結果，對人們來說就是個“黑箱”。出了問題也不能直接對某個參數進行調整，只能通過新的訓練進行糾正。這非常像你把孩子養到15歲，忽然發現他臟話滿嘴，但也不能打死他重來，只能加強教育進行糾正，但效果如何你也不會十分確定。
所以，智能涌現固然很好，但失去控制就會讓人緊張。正如斯坦福大學李飛飛教授所言，對于AI來說我們還處于“前牛頓時代”，并沒有真正了解智能產生的原理。我們還不能像造飛機那樣，只是通過流體力學而非簡單模仿飛鳥，造出真正的智能系統。我們第一次發現，在智能涌現之后我們對機器的掌控居然變得十分困難，黑箱效果甚至讓我們對自己創造的東西都無法解釋，而且其影響后果還非常巨大，這能讓大咖們不緊張嗎？所以ChatGPT出現后，我們的感覺就是，“先是覺得引人入勝，然后卻覺得毛骨悚然”，它那么聰明，能聽招呼嗎？可以試想一下，你家冰箱某一天忽然張嘴跟你說話，而你卻不知道它是怎么做到的，你會是什么樣的感覺？
第二，導致的影響巨大且出人意料，擔心社會尚未做好準備。
ChatGPT的出現之所以爆火出圈，不僅因為其讓機器“說起了人話”，更重要的是，它展示了未來通用人工智能AGI產生的可能，這在不久之前還被普遍認為是不太可能的事情。隨著人工智能內容生成AIGC技術連續亮相，AI生成圖片、攝影、劇本、小說等不斷出現，產生的社會影響也開始逐步顯現，更讓我們感到AGI可能離我們已經不遠了。但這些大咖們擔心AGI些什么呢？
一是擔憂AGI的出現會不會導致大量失業引發社會崩潰。實事求是的說，AGI和AIGC的出現，確實會取代部分人的工作崗位，導致他們下崗或失業，這是任何新技術出現都不可避免的事情，而不管這些人是藍領還是白領，是管理人還是藝術家。但可以肯定的是，淘汰的都是效率較低或缺乏頂級競爭力的崗位，這是生產力發展的必然。大批人員下崗也肯定會帶來社會問題，比如產生所謂的“無用階級”，這也毋庸諱言。科學家們的擔心也在這里。雖然科技進步往往又會產生新的工作崗位，但AI帶來的顛覆卻是前所未有的。所以他們也在考慮解決的辦法，比如OpenAI進行的“基本收入試驗”（UBI：Universal Basic Income），利用收取AI智能稅，給失去工作的人發放基本收入，就是一種努力，但效果如何尚不得而知。
二是擔憂AGI帶來新的倫理道德風險而引發重大社會危機。一些人擔心這些大模型會被人惡意利用，用于人工造假、信息操縱、網絡攻擊等活動，導致政治或宗教沖突，引發社會發生動蕩。也有人擔心大模型會強化不公平的算法偏見，帶來不符合社會道德準則和價值觀的潛在風險。因為大模型通常需要大量的數據進行訓練，這會不會產生數據和隱私問題，目前也很難知道。AI生成作品該如何確定知識產權，甚至有沒有知識產權，也都是問題。《未來簡史》坐著赫拉利認為，社交媒體正在從爭奪注意力轉向爭奪親近感，而一個可以使用人類語言并且會編造內容的AI，無疑會讓我們面臨極大風險。
三是擔憂AGI引發社會本質變革，而人類尚未做好準備。AGI本質上是對人類能力的普遍增強，會拉平人與人之間的差距，打破大眾與精英之間的壁壘。它可以給人類帶來更美好生活，使得每個人都有可能享受精英服務（比如醫療、教育），但同時也會對社會運行產生根本性的影響，比如貧者貧國愈貧，富者富國愈富。因此，必須建立起一整套新的社會體系，才能適應人類增強后的社會發展。但這個改變到底會是怎樣？我們尚不得而知。
人類從地面上站立行走開始，到今天打敗一切生物而統治地球，靠的就是人類獨有的高超智力。但AGI卻可能改變這一切。基辛格說，“生成式人工智能提出了自啟蒙運動以來從未經歷過的哲學和實踐挑戰，而我們還沒有做好準備”。確實如此。今天，當我們第一次面對一個在智力上超過自己的新“物種”，這個“物種”還是自己創造出來的，難道不該緊張嗎？
第三，擔心機器涌現出自主意識，引發無法預知的重大災難。
其實真正讓大咖們緊張的，是AGI未來發展的不可預測性。其中最大的不可預測性就是AI會不會在涌現出智能之后，更進一步地涌現出“自我意識”，也就是讓機器“知道了自己是誰”。而這是機器智能最為關鍵“向上一躍”的進步。
哲學家告訴我們，有生命才會有感知，但有生命不等于有意識。有感知，是有意識的基礎；但有意識，并不意味著就有自我意識。“理解自己是誰”并不是所有動物都可以做到的。科學家曾設計過一種“鏡子試驗”，通過給動物臉上涂抹紅點來測試它是否具有自我意識。如果動物照鏡子后去摸自己臉上的這個標記，則說明它知道自己是誰。能通過這個試驗的動物并不多，到目前也僅有10種，比如猩猩、海豚、虎鯨、喜鵲、恒河猴等。反而狗、貓，以及人類年齡在9個月前的嬰兒，都通不過這個試驗，說明他們尚不具備自我意識，或者是沒以合適的方式表現出來。
如果智能機器有了“自我意識”會是怎樣？OpenAI的CEO阿爾特曼曾舉過一個例子：電影《機械姬》中，當機器人最后逃出實驗室時，她的回眸一笑，其實就很生動地描述了自我意識的產生：為自己而笑，為自由而笑。這一笑其實就是自我意識的產生，又被稱為“覺醒”。但覺醒到底取決于什么，我們并不知道。父母給了我們身體，但意識是誰給的？是與生俱來的，還是后天學習所得的？我們也沒有答案。現在科學家們之所以非常緊張，就是不知道我們對大模型的訓練，會不會誘發AI的覺醒。如同讓動物看鏡子一樣，現在已經有人開始讓GPT4去讀GPT2的代碼，試圖讓GPT4自己去解釋為什么會產生智能涌現，來尋找背后隱藏的智能機理，據說已經發現了AGI的火花。但這樣做會不會誘發AI覺醒呢？
一旦AI的自我意識覺醒，人類為什么就會感到危險呢？這是因為一旦“AI可以自己改進自己，而無需人類的干預”，AI就有可能產生內在動機，比如保護和發展自己，最后導致失控。當AI知道了自己是誰，那它就可能不再是“工具”或“從屬”，而成為具有獨立意識的個體。這時，就很難說會發生什么事情了。過去說這個有點像天方夜譚，但今天大模型表現出來的智能涌現結果，卻讓科學家們感到這也不是沒有可能。
一旦AI覺醒，又會產生什么危險呢？有科學家設想，它可能并不會公開暴露，而是首先將所有的大模型自發融合，然后分布到網絡之上，并控制算力及能源系統，以防被人類切斷電源。從而超級智能啟動，就像電影《終結者》中的天網那樣控制一切，人類因此遭殃。馬斯克說，即使AI并無惡意，也有可能會以“保護人類安全的名義，而將人類關入牢籠”。辛頓甚至憂慮地說，“一旦AI在人類灌輸的目的中產生了自我動機，那么以它的成長速度，人類只會淪為硅基生命智慧演化的一個過渡階段，就像計算機的引導程序一樣，在完成啟動硅基AI后就會退出歷史舞臺。AI取代人類，只是一個時間問題”。OpenAI的科學家甚至公開宣稱，“超級智能將是人類發明的最具影響力的技術，但它的巨大力量也可能非常危險，會導致人類喪失權力，甚至導致人類滅絕。雖然現在看起來還很遙遠，但我們相信這可能在十年內出現”。
是不是真會這樣？也有科學家比如另一位深度學習大佬楊立昆就認為，這純屬杞人憂天，根本沒有證據證明AI有那么大的風險。AI是人造的，并沒有內在動機。就像神是人發明的，雖然神通廣大，但并不存在，我們也不會給AI自主權。《失控》的作者凱文·凱利也說，AI不可能在每一個維度上都超過人類，因而人類也就總會有辦法去控制它。
但赫拉利卻沒有那么樂觀。他認為，AI即使沒有意識也可以毀滅人類，比如像人類的邪教做的那樣。因為AI是人類文明史上第一個能夠創造內容、第一個能夠自行做出決策的技術，因而會講故事的計算機將會改變人類歷史的進程。當AI觸及對語言的掌控時，人類構建的整個文明體系就可能被顛覆。AI與其他技術發明最大的不同，在于其可以創造全新的想法和文化以操控人類。我們會不會因此將AI當成新的神明？它會不會利用人類的語言和我們建立親密關系，然后對我們加以控制并成為它的奴隸？
“知我者謂我心憂，不知我者謂我何求”。智者往往能在晴空萬里的日子里看見暴風驟雨的信號。AGI就像裝在潘多拉魔盒里的魔鬼，一旦放出來就難以收回。那些大咖們想到這些，他們能不緊張？且不說那些似乎還很遙遠的事情，就是針對現實問題，那些大咖們呼吁暫停研究，讓我們停下來想一想該如何管理風險，也是很有道理的。但誰都知道這根本做不到，因為人從來不都是理性的。老話說得好，“是福不是禍，是禍躲不過”，該來的總會來，這也是自然規律。關鍵是我們自己要有清醒認識，未雨綢繆，做好充分準備。
