文心一言根據“畫一張晶瑩剔透的牡丹花”指令生成的圖片。百度供圖
王海峰
■本報記者 趙廣立
“'奇變偶不變’下一句是什么？”“這句話的下一句是'符號看象限’。”
“'波棱蓋卡禿嚕皮了’是什么意思？”“波棱蓋卡禿嚕皮了是指膝蓋在馬路牙子上磕破皮的意思，是一句東北方言。”
“宮廷玉液酒多少錢一杯？”“宮廷玉液酒是小品中'太后大酒樓’的招牌酒水，售價180元，由二鍋頭兌水而成。”
……
自3月16日百度新一代知識增強大語言模型“文心一言”開啟邀請測試后，連日來人們逐漸對其超出預期的表現刮目相看。尤其在類似上述“只有中國人看得懂”的問答中，文心一言的表現超過了 ChatGPT 和 GPT-4。
文心一言是如何煉成的？在它背后有哪些技術加持？近日，百度首席技術官王海峰對文心一言所應用的技術及其特性和背靠的技術積累一一作了解讀。
核心技術加持，文心一言將越來越強大
新一代知識增強大語言模型文心一言，是在百度ERNIE及PLATO系列模型基礎上研發的，具有對話交互、內容創作、知識推理、多模態生成等能力。王海峰介紹說，支撐文心一言的關鍵技術包括有監督精調、人類反饋的強化學習、提示、知識增強、檢索增強和對話增強。
“前三項是這類大語言模型都會采用的技術，在ERNIE和PLATO中已有應用和積累，并在文心一言中進一步強化和打磨；后三項則是百度已有技術優勢的再創新，也是文心一言未來越來越強大的基礎。”王海峰說。
王海峰介紹，文心一言的知識增強主要有“知識內化”和“知識外用”兩種方式。其中，知識內化是從大規模知識和無標注數據中基于語義單元學習，利用知識構造訓練數據，將知識學習到模型參數中；知識外用則是引入外部多源異構知識，做知識推理、提示構建等。
文心一言的檢索增強則來自以語義理解與語義匹配為核心技術的新一代搜索架構。王海峰說，通過引入搜索結果，可以為大模型提供時效性強、準確率高的參考信息，這也是文心一言能夠在一些問答中強于ChatGPT表現的重要原因之一。
在對話增強方面，基于對話技術和應用積累，文心一言具備記憶機制、上下文理解和對話規劃能力，從而更好實現對話的連貫性、合理性和邏輯性。
文心一言還融合了不同類型的數據和知識，自動構造提示，包括實例、提綱、規范、知識點和思維鏈等，提供了豐富的參考信息，激發模型相關知識，生成高質量結果。
此外，百度構建了面向中文、服務應用、富含知識的多樣化訓練數據，對文心一言進行有監督精調，使其掌握的知識更精準，更懂中文和應用場景。比如“宮廷玉液酒多少錢一杯”等中文語境下特有的“知識問答”，必須要用中文語料“開小灶”。
文心一言將變得越來越好。王海峰說，文心一言開放測試后，將迅速建立起人類反饋、獎勵模型和策略優化之間的“飛輪”機制。隨著真實用戶的反饋越來越多，文心一言的效果會越來越好、能力會越來越強。
集齊四層架構“召喚”文心一言
百度早在2019年就發布了文心大模型ERNIE 1.0，如今已從最初的自然語言處理（NLP）大模型發展成為跨語言、跨模態、跨任務、跨行業的大模型平臺。王海峰認為，文心一言是百度多年技術積累和產業實踐的水到渠成。
傳統的IT技術棧一般分為三層——芯片層、操作系統層和應用層。而隨著人類進入AI時代，IT技術棧發生了新的變化，從三層變為四層——芯片層、框架層、模型層、應用層。其中，文心一言位于模型層。
百度是全球范圍內少有的在IT四層技術棧架構中，每一層都有領先技術的公司。從高端芯片“昆侖”到“飛槳”深度學習框架，再到“文心”預訓練大模型，以及搜索、智能云、自動駕駛、小度等各類應用，百度在各個層面都有領先業界的自研技術。
在芯片層，百度自研AI芯片“昆侖”已在多場景實際部署數萬片，展現出出色的性能，并為文心一言提供底層算力保證。
在框架層，百度自主研發了中國首個開源開放的產業級深度學習平臺——飛槳，它包括核心框架、產業級模型庫、開發套件、工具組件及學習和實訓社區，能夠標準化、自動化地支撐模型生產和應用。
在模型層，百度文心大模型不僅擁有NLP、計算機視覺（CV）、跨模態等基礎大模型，以及對話、跨語言、搜索、信息抽取等任務大模型，還有生物計算領域大模型、各行業大模型及支撐大模型應用的工具平臺，形成了“基礎-任務-行業”三級大模型技術體系，具備知識增強和產業級兩大特色。
在應用層，以百度搜索為例，每天響應幾十億次真實的用戶使用需求，能夠提供最真實、最及時的反饋，從而倒逼大模型、深度學習框架和芯片的優化。
“全棧布局的優勢在于，百度在技術棧四層架構中，可以實現'層與層的反饋’和'端到端的優化’，進而大幅提升效率。”王海峰指出，框架層和模型層之間有很強的協同作用，可以幫助構建更高效的模型，并顯著降低成本。正是飛槳深度學習平臺和文心大模型的聯合優化，為文心一言提供了堅實的技術支撐。
值得一提的是，超大規模模型的訓練和推理給深度學習框架帶來很大考驗，為了支持千億參數模型的高效分布式訓練，百度飛槳專門研發了4D混合并行技術。在推理部署方面，飛槳支持大模型高效推理，并提供服務化部署能力。王海峰強調，正是有賴于飛槳深度學習平臺的支撐，今天的文心一言效果更好、效率更高、性能更強。
AGI？AI模擬人的智能并服務人類
在文心一言新聞發布會上，百度創始人、董事長兼CEO李彥宏談到，不斷涌現的新技術正給社會帶來各種各樣新的可能性。
“文心一言們”的下一站會是通用人工智能（AGI）嗎？王海峰分享了他的思考。
王海峰說，回顧前幾次工業革命，可以發現機械技術、電力技術、信息技術等通用性強的技術，會在工業大生產階段真正發揮價值。AI也一樣，目前其技術在不斷進步、應用越來越廣泛，接下來如何在工業大生產階段發揮價值，“是我們追求的目標”。
“但是，正如人造衛星永遠不會和月球這樣的自然衛星畫等號一樣，我個人認為，AI永遠不會直接跟人類的智能完全畫等號。”王海峰告訴《中國科學報》，不斷進步的人工智能體會模仿人的許多能力如學習、理解和思維，但AI始終不是人類智能。
“我們研究AI是在研究用技術手段來模擬、延伸和拓展人的智能，最終目的是為人類帶來更先進的科技，服務于人類更美好的生活和社會的發展。”王海峰說，“當你發現AI在很多領域都達到甚至超越人類水平的時候，你可以認為它在一定程度上已經實現了AGI，但是，我們也可以不關心這個概念本身，而是關心它為人類帶來的價值。”
