張洪忠
北京師范大學新聞傳播學院教授
新媒體傳播研究中心主任
大模型指具備超大規模預訓練語料、擁有超千億規模模型參數的深度學習模型。由美國開放人工智能研究中心（OpenAI）研發、基于大模型的人工智能產品ChatGPT被認為是人工智能技術的新突破，推出僅兩個月后月活躍用戶就已超1億，成為歷史上用戶群增長最快的消費應用，并引發大模型開發熱潮。黨的二十大報告對信息技術、人工智能領域建設作出新的科學部署，提出“推動戰略性新興產業融合集群發展，構建新一代信息技術、人工智能、生物技術、新能源、新材料、高端裝備、綠色環保等一批新的增長引擎” 。面對人工智能大模型技術的突飛猛進，本文聚焦ChatGPT的技術邏輯、大模型技術應用對互聯網生態影響等方面的問題，深入探討相關技術、產品、生態等發展趨勢。
ChatGPT的兩項關鍵技術突破
從技術邏輯來看，以ChatGPT為代表的大模型應用在自然語言處理技術領域有兩個重要的突破點。
一是面向開放域的多輪對話。在很長一段時間里，自然語言對話任務的處理技術無法突破單輪對話瓶頸，針對提問的回答通過檢索來匹配，只能實現僵硬的一問一答式對話。但基于大模型應用的ChatGPT支持開放域的多輪對話，即一方面支持同一模型下的多類型、多領域對話，另一方面支持追問式的多輪對話。通過引入“上下文學習”（In-Context Learning）的模型訓練機制，ChatGPT等應用能不斷回溯上下文內容，學習并整合用戶多輪對話信息，逐輪聚焦、精準理解用戶需求，以提供更準確地響應。
二是生成式文本。ChatGPT沿用的生成式技術以“字詞接龍”形式實現文本生成。通過引入自回歸機制，ChatGPT能將每一輪歷史對話的信息和當前用戶追問的信息同時納入模型，自動生成新的預測序列，并進一步結合已習得的海量數據、具體對話語境，逐步預測回復文本的各個字詞，并生成新的回復文本。這項技術突破機器寫作的模板化模式，將文本預測的基本單元由句段精細到字詞層級，繼而生成更多樣、靈活、自然的文本內容。
ChatGPT的這兩項技術突破意味著人工智能由“猴”向“類人”的質變跨越。ChatGPT的多輪對話和生成式文本兩項技術展現出推理決策、概念抽象等處理能力，推動人機交互進入新階段，解決單輪對話的“前言不搭后語”“答非所問”“程式化問答”“無法存留記憶”等問題，使機器具備與人交流的基本能力。此外，不同于以往人機對話應用，ChatGPT將用戶與機器引入一定對話場景中，針對某一話題開展多輪開放對話，模擬并建構起人際對話的臨場感，帶給用戶更連貫、自然、真實的對話體驗。換句話說，ChatGPT超越圖靈測試的人工智能標準，使機器開始像“人”一樣與用戶交流，外顯出一定“人”的語言行為特征。
大模型對互聯網生態的影響
ChatGPT是GPT生成式預訓練轉換器對大模型的一項應用，GPT大模型在刷新人機交往新體驗的同時，也將對互聯網生態產生影響。正如開放人工智能研究中心首席執行官山姆·阿爾特曼所預測的那樣，人工智能大模型技術將以聊天機器人為切入點，逐步納入圖像、音頻等多模態模型，成為繼移動互聯網之后最大的技術平臺。大模型對互聯網生態的影響將從四個方面考量。
一是大模型是否會成為未來互聯網競爭的門檻。大模型的出現與計算機科學的數據獲取與存儲能力、數據計算能力的發展緊密相關。近年來，云計算、超算技術等走向應用化，訓練大模型成為可能。同時，互聯網的普及帶來海量可用數據為訓練大模型奠定豐富的數據基礎。ChatGPT只是大模型應用的“冰山一角”， 建立在大模型基礎之上的應用還將出現，下一步的互聯網應用是否會建立在大模型之上？互聯網產業生態競爭的重點是否會轉移到大模型研發賽道？當大模型研發成為主流競爭賽道，大模型是否會成為企業參與互聯網競爭的門檻？
二是大資本支持的算力是否會成為互聯網競爭的基礎。算力是大模型的基礎保證，從早期的詞向量預訓練語言模型（ELMo）到基于轉換器的雙向編碼表示模型（BERT-L）再到GPT3.0模型，大模型對算力的需求持續增長，但算力需要資金的支撐保障。一方面是GPU建設需要，以GPT大模型為例，其算力基礎設施至少需要上萬片英偉達旗艦數據中心顯卡GPU A100，而一片英偉達頂級GPU的采購成本達到8萬元、GPU服務器成本超過40萬元，總成本遠超中小型企業負擔能力；另一方面是訓練成本需要，盡管計算技術和數據資源條件充分，大模型訓練成本仍是一道無法輕易跨越的門檻。以GPT3.0模型為例，該模型擁有1750億參數，需借助超算基礎設備進行訓練，單次訓練所需費用達460萬美元。基于大模型的互聯網競爭并非停留在技術本身，而是一定意義上關系到是否有資金支持。因而，能否獲得資本支持可能成為未來企業參與大模型研發與互聯網競爭的基礎。
三是云端是否會成為下一個互聯網競爭空間。大模型的開發與場景化應用將與基于云端的數據存儲、傳輸和計算功能的聯系愈加緊密，依托云端建立起大模型計算任務執行與大規模算力基礎設施之間的連接。云端不僅是計算云和儲存云，對云端的開發能力還將決定互聯網應用的質量高低。云端為人工智能的芯片層、框架層、模型層和應用層提供跨地理的連接與信息交流的窗口，各方能夠在算力支持、算法服務、模型訓練、應用開發等環節“大顯身手”，進而可能形成大模型及其應用匯聚、衍生、對話、競合的洼地。進一步來說，未來用戶對云廠商的需求更加聚焦智能服務，重點考察框架是否穩健、模型是否善于計算，以及模型、框架、芯片、應用這四層架構之間的協同水平。
四是“對話即平臺”或將成為大模型時代產業趨勢。2016年，微軟首席執行官薩提亞·納德拉提出“對話即平臺”理念，即對話將成為下一代人機交互的界面，并將其視為人工智能時代的核心革命。“對話即平臺”不僅意味著人機交互以自然語言對話的形式進行，更強調用戶擁有個人的智能助理，能定制化完成用戶各項需求任務，且不再需要直接使用其他軟件應用。大模型的出現將人機交互的形式由計算機語言、圖像界面切換為基于自然語言的對話，回歸到人類最自然的交互方式，對話似乎成為主流趨勢。盡管通用型人工智能助理仍是一種展望，但“對話即平臺”的理念在大模型應用中已有顯現。GPT-4大模型與微軟辦公軟件（Office）的接入，即是這一理念的場景應用探索。隨著大模型應用場景增加，單一功能產品可能無法順利“出圈”；通用型、一體化新產品或將成為主流趨勢，以滿足個性化用戶需求。此外，隨著人機交互程度深化，大模型應用可能進一步強化情感體驗，對人類情感的理解與機器情感的建構有望成為重要突破方向。
GPT-4是一個多模態大型語言模型，即支持圖像和文本輸入，以文本形式輸出。
我國大模型研發現狀
目前，多家中國企業、科研院所積極進入大模型競爭賽道，涌入大模型研發行列，競相開發各自的大模型，在短時間內國內呈現“百模大戰”的競爭態勢。2023年2月7日，百度官宣大模型新項目“文心一言”，成為國內首個公開推出的大模型。隨后，多家企業、科研院所相繼宣布或推出各自的大模型。在研發通用大模型的賽場上，既有百度、阿里、騰訊等互聯網企業，也有商湯科技、科大訊飛等AI公司，還有清華大學、復旦大學、北京智源人工智能研究院等科研院所，比如，清華大學唐杰團隊的ChatGLM。同時，更有一批“另起爐灶”的創業者轉型大模型研發，包括美團聯合創始人王慧文創建的“光年之外”、創新工場創始人李開復創辦的“Project AI2.0”等。
2023年2月7日，百度官宣大模型新項目“文心一言”，成為國內首個公開推出的大模型。
2023年4月14日，騰訊云新發布面向大模型訓練的新一代HCC高性能計算集群。
與此同時，一部分擁有超算資源的互聯網企業選擇以“服務者”角色加入“百模大戰”，通過為大模型培育客戶提供其具備的算力支持，輔助其做好大模型開發。以字節跳動為代表，旗下火山引擎依托云端推出大模型訓練云平臺，面向其他AI大模型團隊提供算力等技術服務，為這些團隊提供大模型競爭的“入場券”。統計顯示，目前國內大模型領域的數十家企業，近七成基于火山引擎云平臺開發大模型，毫末智行、名之夢（MiniMax）、智譜AI、昆侖萬維等科技企業都借助火山引擎的支持進行大模型訓練迭代。這種基于云端的算力分配與調用，將芯片層、框架層與模型層連接起來，可能成為云端競爭的一種新模式。
還有一批企業機構錨定垂直領域大模型開發。自ChatGPT推出以來，各行各業就開始基于行業構建大模型應用場景。在醫療、金融、教育等行業，一批擁有用戶數據積累的中小型企業已開始基于國內外大模型底座訓練適配自身應用場景的垂類大模型，探索垂類大模型應用開發。與此同時，已發布通用大模型的企業也相繼推出面向特有行業的模型，如百度基于“文心大模型”推出的“文心千帆”大模型服務平臺，支持用戶開發垂類大模型。這些如雨后春筍般生長的垂類大模型以應用與場景先行，進一步將大模型接入用戶層面。同時，新產品研發倒逼垂直領域的大模型優化提升，與通用大模型發展形成正向反饋，有望加速大模型應用生態形成。
我國應對大模型時代到來的思考
從最早的PC互聯網時代，到移動互聯網時代，再到可能進入的大模型時代，每次互聯網的演變都給社會發展帶來深遠影響，如何跟進技術發展變革的步伐將影響我國互聯網在全球的競爭力。
一是對大模型要有準確的認知判斷。以ChatGPT為代表的大模型是人工智能技術發展的一個新突破，為通向通用人工智能提供了一個可能的技術路線，大模型領域的落后或許意味著人工智能技術的整體落后。同時，大模型的廣泛應用也可能會帶來虛假信息衍生、模型算法偏見、人機與人際信任爭奪、用戶的情感依賴等問題。降低大模型應用的風險需執行有效明確的規則，以積極的態度建立政府、企業、公眾各層面統籌應對機制，面向大模型訓練、應用開發等環節建立健全法律法規，防止大模型技術被惡意使用。
二是按照技術邏輯推進大模型的培育發展。應對人工智能領域的大模型浪潮，首要一點是從技術邏輯出發推進大模型的培育與發展。技術邏輯意味著遵循技術發展路徑、營造技術創新環境。更具體來說，算力是大模型發展的物質支撐，算力決定了大模型的參數規模、數據量級與運算效率。大模型是全球競爭的市場，為大模型發展提供政策環境，鼓勵企業投入大模型研發，用市場方式積聚全球頂尖技術人才，才可能做強做大。
三是積極培育大模型應用生態開發。無論是PC互聯網還是移動互聯網，通信技術的升級迭代與應用生態的開發建設都需要“并駕齊驅”。應用生態開發是我國強項，尤其在移動互聯網時代涌現出諸多全球創新領先的應用技術。在即將到來的大模型時代，模型的訓練優化同樣離不開應用生態的開發建設，兩者相輔相成。一方面，基于大模型的強大算力優勢，針對垂直應用場景開發適配行業需求的垂類大模型產品應用，加快大模型產品的價值落地，倒逼垂直領域大模型技術迭代；另一方面，釋放云端大數據的競爭活力，推動多元化創意、技術、需求、場景的碰撞與融合，實現模型-應用層面的有機接入與資源循環，不斷提升大模型應用的多樣化和通用化能力，探索“大模型+”的產業融合集群發展。
總之，大模型的出現將人機關系推向新階段，并對互聯網生態形成新一輪變革。面對大模型時代的到來，我國應加快布局，多方合力推進大模型應用生態建設，在新一代人工智能技術發展賽道上奪得先機。
