AI TIME歡迎每一位AI愛好者的加入！
GPT-3發布以來，衍生了翻譯、答題、創作小說、數據分析、數學推理、玩游戲、畫圖表、制作簡歷等諸多玩法。深度學習之父Geoffrey Hinton表示“從GPT-3驚人的性能可以推測生命、宇宙和萬物的答案只是4萬億個參數而已”。紐約大學教授Gary Marcus與Ernest Davis聯手在《麻省理工科技評論》發表題為《傲慢自大的 GPT-3：自己都不知道自己在說什么》的文章，一起討論GPT-3。
那么，GPT-3 的本質是什么？GPT-3將帶來哪些沖擊與影響……為了探尋本質、掃清迷霧，AI TIME特別邀請學術界與產業界的大佬，于11月26日14:00在1911餐廳相聚，一起論道GPT-3的希望和局限。
本次活動邀請了京東AI研究院常務副院長何曉冬；北京大學研究員、博士生導師嚴睿；清華大學計算機系副教授黃民烈、清華大學計算機系副教授劉知遠；百度杰出架構師、百度文心(ERNIE)負責人孫宇；CCF YOCSEF學術委員會委員、智源研究院學術秘書李文玨；AI TIME負責人何蕓。
一、 GPT-3的本質
為什么一個語言模型能夠同時完成閱讀理解、自動問答、機器翻譯、算術運算和代碼生成等多種任務？
這是GPT-3一直堅持的哲學思想：將所有自然語言處理的任務轉換為語言模型任務，也就是對所有任務進行統一建模，將任務描述與任務輸入視為語言模型的歷史上下文，而輸出則為語言模型需要預測的未來信息。如下圖所示，無論是做情感分類、自動問答，還是完成算術運算、機器翻譯任務，都可以形式化為語言生成問題。
GPT-3是單純的暴力美學，還是真的會給AI帶來新的變化，給NLP領域帶來質變呢？
GPT-3的本質是大數據，基于Transformer這樣的模型。它是革命性的成就，展現了算法+工程的美學。宏觀來看，科學技術的演進遵循“藝術→科學→大規模的、穩定的、可增長的工程實踐”的發展路徑，而GPT-3在某種程度上展現了AI工程取得突破的希望，將推動AI領域的工程化，加速AI整體的發展，給社會帶來積極影響。何曉冬首先表述了自己對GPT-3和NLP的觀點。
GPT-3的本質是一個概率模型，是條件、概率的關聯，距離非常基礎地解決NLP問題還有非常遙遠的距離，距離理解也還存在距離。黃民烈從理解的角度剖析了GPT-3的本質。
GPT-3和之前的預訓練模型最大的不同在于不再需要微調，只需非常少的樣例就可以完成相應的任務。劉知遠認為GPT-3會給整個研究領域帶來非常多新的靈感。
GPT-3本質是在大規模數據下通過大算力做出來的一個概率語言模型。它是非常大的突破，是質變的東西，GPT-3通過弱監督、自監督的方法學習海量的數據，擺脫了之前專家系統、機器學習系統、深度學習系統對人工知識、人工標注數據的依賴，但是離解決AI問題還有很長的路要走。孫宇從GPT-3的特點及其對NLP和AI的價值做了解釋。
GPT-3進步的本質可能源于它“見多識廣”。正因為它見得多，所以能夠基于關聯預測、判斷的也更多。但它不對自己的判斷負責，也不能對它所說內容的實質有任何的判斷。因而說GPT-3是量變而不是質變。不過，量變過程讓我們看到 “模型越大，能力會更接近人”這條康莊大道還沒走到頭，沒有看到新的瓶頸。嚴睿從GPT-3與人類視野的角度進行了解析。
二、 GPT-3的應用、產業前景
GPT-3在翻譯、答題、創作小說、與人對話、生成代碼等方面展現出了非常好的效果。在未來，GPT-3對AI應用的范式將產生哪些影響？對產業將帶來哪些幫助？
如果中文有這么一個模型的話，可以做非常多的事情，屆時，只要能夠在相應的領域里做一些必要的適配，就可以完成創作小說、答題、進行對話等任務。劉知遠提出不僅可以關注預訓練模型如何讓自然語言理解效果更好，還可以多關注GPT-3等模型的廣闊應用前景。
GPT-3最大的問題是“它不知道它知道什么，它也不知道它不知道什么”。黃民烈首先指出GPT-3的局限性，他比較看好GPT-3在內容創作中的應用，但他認為它不太擅長邏輯推理。
GPT-3做內容創作很有產業前景，但不能放心地讓它去做推理，因為模型本身有缺陷。雖然存在問題，但何曉冬認為GPT-3有希望在很多地方進行提升。如果AI是一臺車，GPT-3可以作為這臺車的底盤，雖然很不完美，沒有“變速箱”也沒有“方向盤”，但有了這個底盤后，其余的內容是可以逐步添上去的。如果能把符號推理裝在GPT-3這個底盤上，再做一些融合性的工作，將會帶來下一個震驚世界的里程碑。
很長時間以來NLP都是在為各條技術線做支撐，但是現在的NLP仍然缺乏直接面向終端用戶進行價值輸出的工具，而GPT-3提供了這樣一種形式。嚴睿認為把NLP的能力、AI的能力開放給更多的終端用戶進行再加工、再創造，或者直接開放給用戶去使用也許是一種新的產業形態。
首先，問答可能就是搜索引擎的下一代。GPT-3有可能成為下一代基于問答的搜索引擎的基礎。其次，GPT-3可以革新一些情感陪伴產品，如智能音箱等。再次，如果NLP支持的規模做到足夠大，帶來的價值和意義足夠大，也會有很大的商業價值。孫宇認為當下NLP技術在產業里落地還不是非常好，主要的原因在于NLP的技術不是那么標準化，各個行業的人如果沒有AI背景很難使用AI技術。有了預訓練模型以后，可能只需要針對各個應用場景提供少量的領域知識、領域數據，就可以解決具體的AI問題。GPT-3為NLP技術在產業中標準化落地提供了一個非常大的可能性，降低了NLP技術的使用門檻，對于推進產業的智能化變革非常有幫助。
三、 GPT-3將走向何方
目前，GPT-3確實取得了長足進展，但也存在缺陷和問題，發展面對著挑戰和風險。此外， GPT-3在解決中文問題上也存在不足。面對上述問題，我們該如何去應對？
劉知遠認為以GPT-3為代表的預訓練模型的科研和商業需求很大，要探索和解決的問題也很多。一方面，中文的自然語言處理性能需要有大模型的支持，這個無論是在商業上還是在研究上都有類似的需求，特別是前沿研究無法避開預訓練模型開展研究。同時，以GPT-3為代表的預訓練模型已經發展到一定規模，大部分研究組的算力資源很難維持計算需求。如果沒有一個面向中文的高質量預訓練模型作為基礎，會極大地影響國內自然語言處理前沿研究的開展，因此亟需國內商業機構或公益組織開源發布或共享中文預訓練模型。
GPT-3是算法？是資源？何曉冬首先提出了這個觀念上的問題：如果把GPT-3看作是資源，應該把它的API放到網上，讓所有研究者都可以用，這對工業界可能有價值；如果把GPT-3當作算法或學術論文，可以在上面做更多的迭代，像使用BERT一樣重新訓練模型。
針對何曉冬的問題，劉知遠以使用Google Translate的API輔助做一些跨語言問答任務為例引入，指出GPT-3意味著NLP研究需要從單機單卡時代跨越到多機多卡時代。
孫宇以從小模型上創新的方法到大模型上的遷移性為切入點，對是否一定要在1730億參數這樣的規模上做實驗、做分析表示了不同看法，并擔心研究方向會被帶偏，基于GPT-3這么大的模型進行創新、實驗會非常影響研究的速度。
做研究到底做什么？黃民烈提到了在情感領域的SentiLARE模型上的工作，并指出要聚焦在解決問題上，一個新的趨勢是不要為了去刷SOTA而工作，SOTA只是一個方面。還談了自己在清源CPM中遇到的處理中文的兩個問題：
第一個問題：中文的數據不足，主要體現在：中文數據很臟；中文的數據量不大且很難獲取；中文數據的多樣性很差。
第二個問題：中文確實有一些特點，包括在建模上也不能完全照搬英文的那一套。在中文上還是有很多值得去做的工作，做清源CPM也是想去嘗試解決這樣一些問題，尤其在數據、模型等方面做一些嘗試。
GPT-3和預訓練模型在工業界和學術界都已經是不可忽視的現象級存在。嚴睿從學術界角度提出：學校的服務器和計算資源都有限，有各種條件的限制，很難在每一個工作上都去使用大模型和大數據，能夠在一個小的領域里翩翩起舞是研究者應有的素質。在低資源的、小數據、算力不足的情況下仍然能夠使方法、性能或結果有提升是很重要的。希望未來會有越來越多人拋開成見，去判斷更深層次的想法有沒有本質改變。
針對嚴睿的觀點，劉知遠提到預訓練模型是大勢所趨，并以機器翻譯在國內的發展為例進行了剖析。假如小而美的模型無法融入預訓練模型這種主流框架， 那么它的價值會大打折扣。
基于劉知遠的觀點，嚴睿進一步分析指出需要找到研究的出路，即要找出一個場景來說這個工作有價值，而不是根據是否應用了預訓練模型而一概而論。
黃民烈補充到：場景和評價是緊密相關的，大家都在刷Benchmark的數據集，不停地擬合數據集，而不是真正地解決任務，這是不好的。目前，大家已經在做一些改變了，今年ACL的最佳論文等都是評價相關的，這說明大家也在思考這個事情，數據集上的SOTA并不是那么重要，而要思考模型真正的泛化性、魯棒性，以及模型真正的能力在哪里。
對學生來說，論文進不進ACL是個靈魂的問題，但成熟的學者要求應該更高一點。何曉冬首先指出了學生與學者在學術生涯的不同階段的不同要求，進而指出好的工作一般都能超過一個合格水平，不會處在一個有爭議的水平區間，不用太糾結。他相信整個學術社區還會繼續往上走，很多新的思想都還會起來。
嚴睿表示預訓練、GPT-3及相關趨勢是可行的，自己想呼吁的只是不要因為沒有用GPT-3而否定了工作的價值，也不要因為采用了預訓練及GPT-3就認為結果的提升來自大數據和大模型。應該客觀來看工作成果在某種場景、社區是否存在貢獻，而這個貢獻的評判其實是綜合的、全方位的，不是只看指標。
四、 算力是否是最有效的方法？
GPT-3出現以后，國際上也出現了比較多的爭論，牛津大學Shimon Whiteson教授與強化學習之父Richard S. Sutton教授的爭論也引發圈內一大波人的思考：
Richard S. Sutton教授的觀點如下：
Shimon Whiteson教授的觀點如下：
針對上述思辨，黃民烈非常認同Sutton的觀點。Search and learning能夠去做擴展的一個非常基礎的因素，早期的專家系統存在不能擴展、不能解決知識之間的沖突等問題，因此不能做很好的不確定性推理，最終沒有取得很大的成功。而GPT-3非常好地利用了數據、學習的能力、算力，是非常有希望的，但未來真正的通用AI脫離知識是不行的。
GPT-3這種通用的方法可能在技術上非常高效，做概率的關聯也非常高效，但在解決一些基礎推理問題的時候不太有效。這個時候我們的知識、規則、更高層次的推理起著非常重要的作用。Gary Marcus有一個神經符號推理的想法，考慮將我們的真實語言連接到認知模型上，而認知模型可能是知識圖譜，這種東西關聯在一起可能實現通用智能的路徑，但是這也說不好，因為還需要解決可擴展的問題，如果只解決小范圍的問題，也沒有什么用。
如果用物理學來類比AI的話，我們可能還處在牛頓之前那個時期，還沒有到牛頓之后的時期。何曉冬提到在沒有足夠的觀察、沒有積累足夠的實際觀測數據時去談理論可能會走偏，比如當年亞里士多德這種天才雖然提出過很多深邃的見解，但他在物理學方面很多觀點也是有其局限性。目前AI領域還沒有一個理論像牛頓三大定律一樣，能夠告訴AI怎么走。現在還沒有看到真正能夠幫助我們直接設計一個AI機器出來的知識，相關知識是不是被扔掉了，也許我們連足夠的觀察都還沒積累起來。
以Geoff Hinton為代表的這一整套代表大數據、大計算的體系在當下之所以能夠成功，并不是因為Hinton比其他科學家更聰明，當然Hinton能發明深度學習算法一定非常聰明，但在某種程度上來說他也更幸運，幸運在我們這個世界在過去大半個世紀通過半導體技術實現了計算力的指數級增長，我們在過去幾十年一直很享受這個過程。大數據也是一份幸運，由于互聯網的原因，數據也在一直呈指數級增長。由于這兩種基本資源的增長，Hinton等人在過去發明的東西突然有用武之地了。之后的十年可能還是這個路線，更遠以后不好說，因為以后可能會有新的資源出現。
人類對知識的理解還處于探索的階段。孫宇認為什么是知識目前還沒有定義好，知識是人類認知的過程，如推理、因果關系，也可能是一些觀察、注意力機制。現在統領了整個NLP發展的Transformer模型也來源于對觀察的認知。哪怕100%的知識里面有1%的知識能夠被用來改進這些模型的效果，其實它也是有用的。當然，算力也是不可或缺的。
趨勢是很重要的，數據、算力是大趨勢，承載主要的進步，但不代表應該放棄應用人類知識的嘗試。嚴睿認為在大的主流下應該會有不同的突破方向，知識肯定是其中一種。
目前AI領域的任務都太簡單，所以讓人感覺單純通過學習、數據就可以搞定。劉知遠認為我們現在之所以覺得基于大數據或大算力的模型取得了非常大的進展，主要是因為現在的這些任務都還是比較簡單的，與人的智能水平還有比較大的距離。Whiteson與Sutton的觀點可能在某個側面是準確的，從長遠來看，真的要實現像人一樣思考、具有人的智能能力模型還有很長的路要走，光靠數據遠遠不夠。
“我們沒有找到正確利用知識的方式，特別是使得它更加擴展的方法，這后面有很多需要做的。有一些任務不需要知識，有一些任務很需要知識，做推理的時候，知識很重要，因為人有大量的知識，這個知識有可能在長期進化過程中固化在大腦里邊，這些說不清楚，需要認知科學相應的研究做支撐。”黃民烈總結道。
五、 GPT-3能否給AI續命？是否會造成科研壟斷？
GPT-3應該不會造成壟斷，因為AI的主要資源來自計算和數據，二者的價格在可預見的未來還會呈指數級便宜下去，所以在這個領域是非常活躍的，并不容易出現壟斷和固化。何曉冬首先表達了自己的觀點，并以互聯網的發展為例進行了闡釋。
學術界的高校應該要有危機感。劉知遠根據自己參會的經驗總結出了很明顯的趨勢：企業愿意去哪些會，意味著哪些領域的問題是這些公司特別需要的。從BERT、GPT-3的誕生機構也可以看出來，高校在做研究時要及時調整方向，凡是公司擅長做的事情，高校就不應該去花太多的精力在那個上面，高校應該做特別前沿的研究。
黃民烈對此表示贊同，并指出科研出現了“貧者愈貧，富者愈富”的現象。因為企業中的人有數學功底，工程能力很強，有算力，也有數據，所以能做GPT-3這類工作，這些東西在高校基本做不出來，這是一個很大的問題。谷歌有幾個特別有名的工作在高校根本做不出來，因為沒有這個條件。
一名好的學者一定要把目標放高遠。何曉冬從工作價值的角度提出了自己的建議，并建議科研工作者無論是做論文，還是做系統，都要思考是不是有充分的影響力。好的工作永遠是稀少的， GPT-3出來以后好的工作所占的比例也沒有太大波動。高校可以瞄準做五年十年以后會爆發的東西。
產業界在深度學習時代相對來說有優勢，因為有大規模的數據、算力、工程系統、架構等有一系列的優勢，所以近十年來NLP的突破性工作很多都是谷歌、微軟這些巨頭搞出來的。孫宇首先分析了NLP的研究現狀，并指出：如果沿著深度學習這個方向研究的話，高校和公司可以有更多的合作，企業可以解決工程性問題，以及怎么應用，而高校可以解決為什么有效這類更基礎性的問題。
何曉冬補充提到：隨后十年如果算力、數據還是現有趨勢發展的話，算法需要能夠從算力和數據中得到優勢。也許不用神經網絡了，也許不用現在流行的激活函數了，但肯定需要大容量模型做這個事情，模型容量足夠大才能從便宜的算力和數據中受益。
“Life will find its way out”（生命總會找到出路的）。嚴睿認為壟斷不會形成，學術界的研究者們，無論是在高校，還是在企業，作為樂于自我挑戰的一群人，大家總會找到一個細分的領域，或者一個可能在未來爆發的點鉆研下去。這是搞科研的這個群體應該干的事情，所以預計不太會有科研壟斷的現象出現。
Q&A
Q1：我一直以為創造能力、創造性是AI一個標志，但是GPT-3等及其他AI算法，還都是類似于概率模型這樣一個東西。那么，以后是否會出現一種創造性的模型真正能夠描述、解釋各種現象與邏輯？
黃民烈提到自己正在寫的新書《現代自然語言生成》有關創造性的討論，認為現在去看的話，生成故事、散文、詩歌等是需要一些創造性的，但是現在模型距離人類水平的創造性還挺遠的。并以小學三年級《蜘蛛開店》課文為例指出：目前，用AI生成涉及知識、常識和有趣性的故事還存在較大困難。
與黃民烈意見不同，何曉冬相信GPT-3 的下一代也許可以做出這樣的事，因為如果模型足夠大，記憶、知識和推理很可能是可以統一的。如果記憶力足夠強，包括檢索記憶的能力也足夠強，也可能會有意想不到的效果。
Q2：下一代新的模型的創新來源點在哪？
人類的學習不是說只學語言文本，還要在真實環境中和大家交流。所以，孫宇認為下一代模型的創新點可能是跨模態的，即不只是語言的大數據，可能還會把互聯網上的圖片、視頻等通過深度學習的語義表示進行統一的建模，以后跨模態可能會成為非常大的突破。
跨模態確實還是有很多機會的，何曉冬表示，如果把百億級的圖片、視頻中的所有的物體和關系進行識別，如果把整個物理世界通過跨模態摘出來做預訓練，可以做很多，甚至有可能把常識問題給順便解決了。因為寫成文字的知識都是比較高級、比較專業的知識，常識往往都不會被寫下來，因為常識就是生活的常態，但往往會記錄在海量的日常生活中的照片與視頻里。
審稿：何曉冬、嚴睿、黃民烈、劉知遠、孫宇
整理：田志遠
排版：岳白雪
本周直播預告：
