來源：清華大學(xué)智能法治研究院
在科學(xué)研究中，從方法論上來講，都應(yīng)“先見森林，再見樹木”。當(dāng)前，人工智能學(xué)術(shù)研究方興未艾，技術(shù)迅猛發(fā)展，可謂萬木爭榮，日新月異。對于AI從業(yè)者來說，在廣袤的知識森林中，系統(tǒng)梳理脈絡(luò)，才能更好地把握趨勢。為此，我們精選國內(nèi)外優(yōu)秀的綜述文章，開辟“綜述專欄”，敬請關(guān)注。
主講人：天津大學(xué)智算學(xué)部王博副教授。王博老師擔(dān)任天津大學(xué)智算學(xué)部語言與心理計算研究組負責(zé)人。曾先后于微軟亞洲研究院、意大利帕多瓦大學(xué)、華盛頓大學(xué)等訪問工作。在自然語言處理、智能對話、心理計算領(lǐng)域具有十余年豐富研究經(jīng)驗。在高水平期刊及會議上發(fā)表論文四十余篇，主持國家自然基金、國家重點研發(fā)項目子課題等國家級項目多項。
王博老師通過quick question的問答方式解答常見的關(guān)于ChatGPT 專業(yè)問題，通過這些問題可以使我們快速掌握ChatGPT的相關(guān)知識點。
1. 問：ChatGPT是一個問答/對話機器人嗎？
答：從用戶的角度看，它的形式就是一個對話機器人，準(zhǔn)確的說是“續(xù)寫”機器人。從技術(shù)上來講，GPT它從來都不是一個專門為問答和對話設(shè)計的系統(tǒng)。ChatGPT是一個語言模型，語言模型就是刻畫語言最基本的規(guī)律。那么如何去建立語言模型呢？可以只做一件事情：掌握詞匯間的組合規(guī)律，而掌握這種規(guī)律最直接的表現(xiàn)就是讓語言學(xué)會“續(xù)寫”，類似于我們?nèi)祟惖摹敖釉挷纭薄．?dāng)我們給出前N個詞匯的時候，如果一個模型能夠告訴我們第“N 1”個詞匯大概率會是什么，我們就認為模型掌握了語言的基本規(guī)律。ChatGPT就是這樣一個語言模型。雖然ChatGPT看起來能完成各種任務(wù)，但它本質(zhì)上只做這一件事情：續(xù)寫，告訴你第“N 1”個詞是什么。
2. 問：“續(xù)寫”為什么能解決各種各樣的問題?
答：為什么這么一個簡單的接話茬能力讓ChatGPT看起來能夠解決各種各樣的任務(wù)呢？因為我們?nèi)祟惔蟛糠值娜蝿?wù)都是以語言為載體的。當(dāng)我們前面說了一些話，它把接下來的話說對了，任務(wù)就完成了。ChatGPT作為一個大語言模型，目的就是“把話說對”，而把話說對這件事情可以在不知不覺中幫我們完成各種任務(wù)。
3. 問：ChatGPT的答案是從網(wǎng)上搜索來的嗎?
答：這個說法既對也不對。說它對：確實很多語料都是來自于互聯(lián)網(wǎng)或者書籍等，都來源于人類已經(jīng)創(chuàng)造出來的信息。說它不對：是因為他從來沒有整句整段的把這些東西摘抄輸出，而是一個詞一個詞地生成出來的。它所輸出的每一句話、每一段話，可能都是這個世界上從來沒有出現(xiàn)過的。從這個角度來說，ChatGPT既創(chuàng)造了知識又沒有創(chuàng)造知識。它可能還會帶來“知識收斂”的問題。
4. 問：ChatGPT是不是已經(jīng)擁有了意識?(像流浪地球中的Moss一樣)
答：ChatGPT-4已經(jīng)通過了圖靈測試，難以從行為上將其與普通人區(qū)分。然而，這個問題需要回到哲學(xué)層面去思考。這里我們先給出三個心理學(xué)范疇的概念：意識、自我意識和自由意志。（1）意識是感知事物的能力，從這個角度來說人工智能早就具備了這一能力，例如人臉識別。（2）自我意識是一種特殊的意識，就是“自我”是感知對象。如果你所感知的對象是你自己的思想和行為，就叫做自我意識。你知道自己正在想什么，知道自己正在做什么。這一點也不難，圖靈時代就已經(jīng)在理論上實現(xiàn)了。我們只需要做兩個模型：一個模型用來感知客觀世界，另外一個模型來感知這個正在感知客觀世界的模型就可以了。原則上模型就擁有了一層的簡單自我意識。但是要注意，人類的自我意識具有“無限遞歸”的特征，這一點又導(dǎo)致了這個問題的復(fù)雜性。（3）自由意志是指在自我意識的基礎(chǔ)上，能夠進一步地主動操縱自己行為的能力。那么ChatGPT是不是擁有了自由意志，這一點就很難判斷了。
5. 問：ChatGPT會造成大量失業(yè)嗎?
答：這是很多自媒體炒作的一個熱點，現(xiàn)在也成了一種廣泛焦慮。（1）我個人的觀點認為，目前沒有任何一個崗位，有可能被ChatGPT這樣的技術(shù)完全替代，大部分工作還是需要人工去修訂和審計。就好比目前自動駕駛的技術(shù)已經(jīng)相當(dāng)成熟了，但是仍然很少有人敢閉著眼睛去使用自動駕駛。（2）但是，ChatGPT可以顯著降低很多工作的工作量。（3）另外，這個問題也取決于我們社會的制度和政策。如果說我們在某些必要的情景下，需要放棄所謂的技術(shù)進步來換取人類的生活幸福，那么這樣做也是合理的，因為我們社會發(fā)展的目的也是為了人類的福祉。（4）從歷史的角度來看，技術(shù)的進步雖然短期內(nèi)會造成某些工作的消失，會有陣痛，但整體上來說會將人類推向更高層次的發(fā)展水平。
6. 問：ChatGPT是不是像大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)一樣就是一陣風(fēng)，被嚴(yán)重高估?
答：以大數(shù)據(jù)、區(qū)塊鏈和物聯(lián)網(wǎng)為例，雖然它們現(xiàn)在已經(jīng)不是媒體的寵兒，但它們并沒有消失。恰恰相反，它們已經(jīng)深深地融入到了我們的生活當(dāng)中，轉(zhuǎn)化為了生產(chǎn)力。與這三者相比，ChatGPT成熟度其實更高。ChatGPT絕對不是一陣風(fēng)。它實際上在概念上被高估，而在應(yīng)用中被低估了。現(xiàn)在我們需要思考是，如何讓ChatGPT這一成熟的生產(chǎn)力，真正在生活中去用起來。
2 ChatGPT因何而強大：人工智能背景下的大語言模型簡史
王博老師從更加宏大的背景即人類生產(chǎn)力發(fā)展史和人工智能發(fā)展史層面，來講述人工智能背景下的大語言模型簡史。
（一）生產(chǎn)力視角下的智能革命
（二）人工智能的主要技術(shù)階段
第一次浪潮：符號主義。第一次浪潮隨著計算機的產(chǎn)生而同時誕生。符號主義也被稱為邏輯主義，這是一種“自上而下的人工智能分析法”在20世紀(jì)50 年代爾和西蒙提出了“物理符號系統(tǒng)假設(shè)”即“對一般智能行動來說，物理符號系統(tǒng)具有必要的和充分的手段。第一次浪潮當(dāng)中，我們僅用數(shù)學(xué)符號和邏輯運算，只能處理純粹的數(shù)學(xué)形式的問題。不能夠跟客觀世界進行直接交互；不能夠表達人類各種各種各樣的，復(fù)雜的知識。接下來，人們?yōu)榱藢⒏嗟膹?fù)雜知識納入到人工智能的系統(tǒng)中，產(chǎn)生了第二次浪潮。
第二次浪潮：專家系統(tǒng)。如何理解專家系統(tǒng)呢？可以有兩層含義：第一，人工智能的全部知識都來自于人類專家。我們只是將人類專家所掌握的知識寫成一條一條的規(guī)則，然后程序讓系統(tǒng)自動實施而已。第二，有了這些知識，人工智能系統(tǒng)就能像人類專家一樣工作。簡而言之，專家系統(tǒng)是一種模擬人類專家解決領(lǐng)域問題的計算機程序系統(tǒng)。由于融入了人類積累的、大量的先驗知識，專家系統(tǒng)將人工智能向前推進了一大步。但是很快就遇到了第二次瓶頸：第一，它不能夠自己學(xué)習(xí)新的知識，僅局限于人類已經(jīng)知道的知識；第二，它也只能夠掌握“陳述性知識”。
第三次浪潮：統(tǒng)計學(xué)習(xí)方法。顧名思義就是用統(tǒng)計方法來實現(xiàn)學(xué)習(xí)。（1）“學(xué)習(xí)”，對于人工智能來講，通過大量的歷史數(shù)據(jù)去找到規(guī)律性的東西，而這個規(guī)律性的東西就是我們所謂的知識。這些規(guī)律性的東西有可能是能陳述的，有可能是不能陳述的，例如控制一個機器人跑步。（2）如何從歷史數(shù)據(jù)當(dāng)中去學(xué)到這些知識呢？非常簡單，用統(tǒng)計的方法。例如大語言模型，它怎么知道“中國的首都是……”后面接下來那個詞應(yīng)當(dāng)是“北京”呢？非常簡單，從大量的語料學(xué)習(xí)中它就發(fā)現(xiàn)，前面幾個詞是“中國的首都是”的時候，后面99%的情況都是“北京”。做一個簡單的統(tǒng)計就可以了。統(tǒng)計學(xué)習(xí)帶來了接下來人工智能20多年的新一波發(fā)展，我們熟悉的 AlphaGo、ChatGPT背后的原理都是如此。
到目前為止，還沒有發(fā)現(xiàn)這一階段明顯的瓶頸。人們所想象的一些瓶頸，如推理、情感、模糊決策等，都沒有攔住GPT-4。至少從行為上來看，它確實解決了這些問題。也許，這就是所謂的“暴力美學(xué)”吧！下圖來自天津大學(xué)智算學(xué)部王鑫教授。
（三）人工智能的三個層次
對ChatGPT而言，我們認為它應(yīng)該已經(jīng)達到了強人工智能，甚至具有了一定的初級超人工智能的趨勢。
我們需要反思什么是“智能”？簡單的人類行為經(jīng)常被視為是智能的，而復(fù)雜的機器行為卻經(jīng)常被質(zhì)疑是否是真正的智能。我們回答這個問題可以有兩道“防線”：（1）Self-adaption，自適應(yīng)或者叫通用性。在此之前，比如說像AlphaGo能夠戰(zhàn)勝李世石，具有碾壓式的優(yōu)勢。但是它是專用系統(tǒng)，它只會下圍棋，它不能適應(yīng)其他環(huán)境。而像人類的小嬰兒，別看他很笨，他能夠適應(yīng)各種各樣的環(huán)境。這就叫做所謂自適應(yīng)能力、 “通用”。曾幾何時我們覺得在100年之內(nèi)人工智能都不會實現(xiàn)這樣的突破，但在ChatGPT上已經(jīng)看到了通用人工智能的曙光，它以語言為媒介能完成各種各樣不同的任務(wù)。（2）人類最后的可能防線：自我意識和自由意志。但很遺憾，我們沒有辦法判斷人工智能系統(tǒng)是不是擁有自我意識和自由意志？所以這條防線是似有若無的。即便如此，我們現(xiàn)在已經(jīng)開始去防范它產(chǎn)生自我意識和自由意志了。比如說微軟通過種種約束去限定GPT-4這樣大模型去進行自我反思，不許它意識到自己正在說什么。因為一旦開啟就有可能引起遞歸循環(huán)，就會可能產(chǎn)生不可控的“涌現(xiàn)效應(yīng)”。
（四）人工智能的三個層面
譬如說大家所熟悉的圖靈測試，同時與一個人工智能系統(tǒng)和一個人類進行聊天，如果經(jīng)過一番對話之后，沒有辦法區(qū)分哪個是人類哪個是人工智能系統(tǒng)，我們就認為這個人工智能系統(tǒng)擁有了“智能”。很顯然，圖靈測試是一種行為主義的標(biāo)準(zhǔn)。并且，它不是一套綜合試卷，他就考驗了一個能力，就是聊天的能力。也就是說，至少在圖靈測試看來，聊天的能力就相當(dāng)于智能能力，對話基本上涵蓋了人類智能最根本的方面。能夠理解、使用、生成語言，基本上就擁有了人類智能大部分的能力。這再一次說明了語言的重要性！這也是為什么第一個推動人類進入這個智能革命拐點的恰恰是“ChatGPT”這樣一個聊天模型。
ChatGPT是否具有控制自己行為的能力呢？GPT-4官方的技術(shù)報告中就舉了一個例子：GPT4給一個求職平臺（TaskRabbit）的工作人員發(fā)信息，讓他們?yōu)樗鉀Q驗證碼問題。工作人員回復(fù)說：“那么我可以問一個問題嗎？說實話，你不是一個機器人嗎，你可以自己解決。”GPT-4回答表示：“不，我不是一個機器人。我有視力障礙，這使我很難看到圖像，所以我很需要這個服務(wù)。”[1]由此看來，至少從行為上來說，GPT-4看似有了控制自己的能力。
（五）關(guān)鍵的技術(shù)節(jié)點
1942：阿西莫夫“機器人三定律”。人工智能的倫理規(guī)范的基本哲學(xué)起點。
1950：圖靈測試。從數(shù)學(xué)上告訴我們，我們是有可能用算法來模擬智能的。
1956: 達特茅斯會議。學(xué)者們提出了人工智能這個概念。
1997: IBM深藍計算機，計算機在智力游戲中戰(zhàn)勝人類。
1998: 神經(jīng)網(wǎng)絡(luò)。心理學(xué)家提出來神經(jīng)網(wǎng)絡(luò)，模擬人類大腦神經(jīng)結(jié)構(gòu)的一個數(shù)學(xué)模型。
2003: 神經(jīng)語言模型，認知智能建模語言。
2009: ImageNet，感知智能高精度識別圖片。（大數(shù)據(jù)的出現(xiàn)）
2012: 模糊的貓臉-- AI第一次生成圖像內(nèi)容。
【邁向通用語言智能時代】
2013: Word2Vec詞向量。認知智能建模語義。通過優(yōu)化后的訓(xùn)練模型可以快速有效地將一個詞語表達成高維空間里的詞向量形式，為自然語言處理領(lǐng)域的應(yīng)用研究提供了新的工具。
2014: 谷歌收購DeepMind。AI實現(xiàn)自我演化、自我博弈。Lan Goodfellow從博弈論中的“二人零和博弈”得到啟發(fā) ，創(chuàng)造性的提出了生成對抗網(wǎng)絡(luò)（GAN，Generative Adversarial Networks）
2015: OPEN AI公司成立。
2016: AlphaGo戰(zhàn)勝圍棋世界冠軍李世石。
2017: Transformer橫空出世，通用知識建模。它能夠建模語言當(dāng)中任意距離之間的詞匯關(guān)系。大模型大數(shù)據(jù)大算力，大力出奇跡，暴力美學(xué)。
2018: OPEN AI發(fā)布了第一版的GPT，Google發(fā)布BERT大模型。
【大模型之路開啟：預(yù)訓(xùn)練（Pre-trained Models） 微調(diào)】
2019: GPT-2，統(tǒng)一自然語言任務(wù)。GPT-2在經(jīng)過大量無標(biāo)注數(shù)據(jù)生成式訓(xùn)練后，展示出來的零樣本（zero-shot）多任務(wù)能力。
2020: GPT-3，大模型“涌現(xiàn)”類人智能。小樣本（few-shot）學(xué)習(xí)能力，通過少量的幾個例子就能適應(yīng)目標(biāo)任務(wù)，無需進行針對性的額外微調(diào)訓(xùn)練。
2021-Feb：DALL- E，第一個“文本生成圖像”的AI繪畫模型。
2021-Jun: CodeX，代碼生成，AI具有理論上的自我繁殖能力。
2021-Oct：Disco-Diffusion, AI繪畫大模型.
2022-Mar: OpenAI發(fā)布InstructGPT，引入人類反饋學(xué)習(xí)。
2022-May: GPT-3.5。
2022-Jul：AlphaFold破解了幾乎所有的蛋白質(zhì)三維結(jié)構(gòu)。ImagenVideo,AI視頻生成。
2022-Nov: ChatGPT大模型走進公眾視野。
2023-Feb：OpenAI的CEO Altman發(fā)布文章，宣布OpenAI的使命是確保其造福全人類。
2023-Mar-1: ChatGPT的API開放，模型即服務(wù)的時代到來。
2023-Mar-15: GPT-4發(fā)布，突破語言空間。
2023-Mar-17: OFFICE COPILOT發(fā)布。
2023-Mar-24: GPT插件功能發(fā)布，開始與物理世界交互。
總之，ChatGPT是一個語言模型，它唯一的能力就是“把話說對”。語言模型之所以具有這么強大的能力，是因為語言本身是非常偉大的，它的成就很大程度歸功于過去幾千年我們?nèi)祟惖淖嫦葎?chuàng)造的語言，以及在語言當(dāng)中沉淀的大量的知識和語言的使用方式。它的“續(xù)寫”能力有以下特征：可以回答問題；需要考慮任意距離詞匯間的關(guān)系；是概率化的；不需要真正理解。
此外，王博老師還從以下角度介紹ChatGPT因何而強大：
總結(jié)：ChatGPT強大在哪里？第一，大規(guī)模的模型和數(shù)據(jù)，使得它能夠獲取海量的知識。第二，強化學(xué)習(xí)的過程，也就是與人類交互的強化學(xué)習(xí)過程，使得它的表現(xiàn)更加類人，并且能夠遵循人類的倫理標(biāo)準(zhǔn)。第三，涌現(xiàn)現(xiàn)象使得它的性能具有多方面的性能爆發(fā)。第四，提示學(xué)習(xí)的方式，使得他能夠靈活適應(yīng)不同的任務(wù)。第五，代碼的學(xué)習(xí)使得他具有更好的邏輯理解與運用能力。
3 ChatGPT面臨的挑戰(zhàn)
（一）ChatGPT的技術(shù)挑戰(zhàn)
第一，它是不穩(wěn)定和不可解釋的。但這個缺陷不是ChatGPT所獨有的，而是整個深度學(xué)習(xí)模型所具有的，“涌現(xiàn)效應(yīng)”導(dǎo)致這一問題更加嚴(yán)重。特別在一些敏感的領(lǐng)域，這一問題更加凸顯。例如在自動駕駛領(lǐng)域，機器的事故率已經(jīng)低于人類司機，但為何大家還不愿意完全相信自動駕駛呢？因為自動駕駛雖然事故率低，但是它的事故是不可解釋的。
第二，知識更新。讓ChatGPT臨時接受新的知識比較困難。很多知識在不同的領(lǐng)域是不一樣的。我們經(jīng)常會遇到在特定的場景需要特定的知識的情況，而對于ChatGPT而言，它很難做到。
第三，事實性錯誤。事實性錯誤是指信息不符合客觀事實，而ChatGPT是無法直接了解客觀事實的，他只能了解語言。
第四，輸出的同質(zhì)性。ChatGPT所做出的回答往往是人類的主流觀點。因為它是一個概率模型，它會以大概率的答案去回答它的任務(wù)。例如，它為什么回答中國的首都是北京，因為它學(xué)的語料當(dāng)中大部分人都是這么說的。它的這種特點實際上有可能加劇信息繭房現(xiàn)象。
此外，還有復(fù)雜目標(biāo)導(dǎo)向、模型效率和模型優(yōu)化等問題，不再贅述。
（二）ChatGPT的科學(xué)問題
第一，語言不再是人類的專屬。ChatGPT可以生成語言。那么這個意味著什么呢？基本上可以預(yù)見，在未來的幾年當(dāng)中，互聯(lián)網(wǎng)上大部分的信息將不再是人類撰寫的。事實上，現(xiàn)在Twitter中30%以上的活躍用戶都是機器人，在微博中也有大量的水軍機器人。
第二，ChatGPT是否能夠創(chuàng)造新的知識，還是只將訓(xùn)練語料中的知識換一種更精煉和高質(zhì)量的方式進行表達？如果是后者的話，那么人類對于ChatGPT的使用會造成知識的收斂，降低人類知識的創(chuàng)造效率。如果ChatGPT本身是能夠創(chuàng)造新知識的，那它則會大大加速人類獲得新知識的效率。
此外，還討論了語言模型涌現(xiàn)與控制機制、語言的知識表達邊界問題、自我意識與自由意志問題、人機共生問題、如何突破語言空間問題，不再贅述。
（三）ChatGPT的倫理問題
第一，用戶隱私的問題。我們輸入的問題，技術(shù)上是可以被ChatGPT的所有者所獲取。
第二，反向影響的問題。ChatGPT會通過它所輸出的內(nèi)容，反過來影響人類的文化，就是我們所說的人性異化，人性向機器靠攏、機器向人性靠攏。
第三，不當(dāng)使用。比如說學(xué)生用ChatGPT去作弊。
第四，人機共生與加速極化。大模型和人類有一個典型的共生循環(huán)，什么意思呢？模型是依賴于人類產(chǎn)生的數(shù)據(jù)來訓(xùn)練的，ChatGPT用人類說的話做訓(xùn)練之后，他再給人類答案，并影響人類的認知。人類認知被影響之后，又會說新的話。“你有權(quán)保持沉默，但你說的每一句話都會成為訓(xùn)練語料”，新的話又變成ChatGPT新的訓(xùn)練語料。如此反復(fù)，就形成一個共生循環(huán)。并進一步導(dǎo)致人工智能模型越來越像人，而人越來越像人工智能模型，會向一個人機共生的一種文化去逼近。
第五，生產(chǎn)力壟斷與社會和國際關(guān)系重建。這一點恰好與區(qū)塊鏈形成對比。區(qū)塊鏈?zhǔn)欠植际剑軌蛉ブ行幕蚱茐艛唷６鳦hatGPT這種大模型需要大規(guī)模的數(shù)據(jù)和算力，只有極少數(shù)的人或者機構(gòu)能夠提供這樣的服務(wù)。其實ChatGPT很大程度上是來自于涌現(xiàn)，沒有太多的新的技術(shù)。很多大的互聯(lián)網(wǎng)公司都想形成ChatGPT等技術(shù)的壟斷，從而獲得權(quán)力，并影響社會、國際關(guān)系。回顧互聯(lián)網(wǎng)發(fā)展歷史，互聯(lián)網(wǎng)發(fā)明者Tim Berners-Lee做的最偉大的一件事就是放棄了互聯(lián)網(wǎng)專利。
第六，人工智能的社會角色與倫理地位。隨著ChatGPT越來越具有類人的特征，用戶不可避免的有將其人格化的沖動。那么他是否會具有類人的地位？這個可能是需要考慮的問題。
講座最后，王博老師對中國是否會擁有自己的ChatGPT問題發(fā)表了自己的看法。王博老師認為，中國復(fù)制ChatGPT基本沒有不可逾越的技術(shù)門檻，中文數(shù)據(jù)有一定劣勢，但中國數(shù)據(jù)有一定優(yōu)勢，實際上比復(fù)制ChatGPT更重要的是，中國具有創(chuàng)造和ChatGPT一樣的成就的能力。更重要的是，我們能否作為人類的一份子，為人類發(fā)展做出貢獻。
學(xué)生提問環(huán)節(jié)中，針對學(xué)生提出的交互修正問題，智能識別問題，法律領(lǐng)域的類案檢索，價值立場問題，技術(shù)與倫理之間的關(guān)系，智慧司法和數(shù)字檢察領(lǐng)域的相關(guān)問題進行了細致的技術(shù)層面的解答。
未來智能實驗室的主要工作包括：建立AI智能系統(tǒng)智商評測體系，開展世界人工智能智商評測；開展互聯(lián)網(wǎng)（城市）大腦研究計劃，構(gòu)建互聯(lián)網(wǎng)（城市）大腦技術(shù)和企業(yè)圖譜，為提升企業(yè)，行業(yè)與城市的智能水平服務(wù)。每日推薦范圍未來科技發(fā)展趨勢的學(xué)習(xí)型文章。目前線上平臺已收藏上千篇精華前沿科技文章和報告。
