眼下，“預訓練大模型是AIGC時代的基座”這一觀點已成業界共識。
但訓練一個千億參數規模的大模型，還面臨很多挑戰。
在中國AIGC產業峰會現場，智譜AI CEO張鵬就指出，在這方面我們至少面臨三大挑戰：
一是成本，如一個1750億參數的GPT-3就燒掉了1200萬美元（約合人民幣8300萬元）；
二是人力，一個谷歌PaLM-530B的作者列表就有近70人，而我國大模型人才還很欠缺；
三是算法，千億大模型訓練過程極其不穩定，一旦出現意外，成本和風險都將額外增加，性能也無法得到保障。
因此，張鵬認為：我們應該多給國產從業者多一點耐心。
張鵬，畢業于清華大學計算機科學與技術系，現在是北京智譜華章科技有限公司(簡稱智譜AI)的CEO，公司成立于2019年，從那個時候，張鵬就帶領公司瞄向“讓機器像人一樣思考”的愿景奮斗。幾年來，公司連續發布了GLM系列大模型、ChatGLM、CodeGeeX代碼大模型等，已經成為國內最早也是最有大模型研發經驗的企業之一。
在本次大會上，除了關于預訓練大模型本身的思考，張鵬介紹了智譜AI在該領域的最新研發和落地進展，包括：
（1）可與GPT-3基座模型對標的GLM-130B
（2）只用單個GPU就能跑起來的ChatGLM-6B，全球下載量超過100萬
（3）每天幫助程序員“編寫”超過400萬行代碼的輔助編程工具CodeGeeX等
為了完整再現這些精彩內容，在不改變原意的基礎上，量子位對其演講進行了編輯整理。
中國AIGC產業峰會是由量子位主辦的行業峰會，近20位產業代表與會討論。線下參與觀眾600 ，線上收看觀眾近 300萬，得到了包括CCTV2、BTV等在內的數十家媒體的廣泛報道關注。
預訓練大模型是新一代人工智能應用的基礎設施。
訓練高精度千億中英雙語稠密模型，對大模型研究和應用有重大意義。
訓練千億大模型的成本高昂，比如1750億參數的GPT-3總成本就達1200萬美元。
常見的千億級模型訓練數據量巨大，訓練周期又很長，在這之中不可避免會有各種各樣的意外發生。所有這些意外都會帶來額外的成本和風險，以及不可預測的模型性能下降。
開源對話模型ChatGLM-6B僅僅62億參數，可以在單個GPU上運行起來，意味著稍微好一點的筆記本帶的顯卡就可以。
大模型的智能涌現仍未看到極限……
對于目前的GPT-4，人類至少在考試上已經考不過它了。
以下為張鵬演講全文：
AIGC時代的基座到底是什么？
我相信所有人肯定會說是預訓練大模型。
所謂基座即基礎設施，為什么它能夠成為基礎設施？
有兩點原因。
第一，這樣的大模型能夠提供非常強大的通用泛化能力，可完成多場景任務，降低成本、提高效率，這是非常關鍵的特性。
第二，模型本身的規模達到一定程度之后，就能允許我們在當中融入更多的知識，包括跨模態的知識，使得模型能夠更好地模擬人的智能。
因此，相關的工作在過去幾年已經成為整個行業的研究熱點，包括ChatGPT、SD（stable diffusion）等模型所帶來的生成能力，正是由于這樣的大模型的誕生所衍生出來的。
在這個過程中我們持續跟蹤技術前沿，也做了一些相關的工作，后面我們逐漸展開。
如今我們欣喜地觀察到，大模型能力正在涌現。
為什么量變會引起智能上的質變？
過去幾年中，大家談大模型的摩爾定律，單模型參數量每年增長十倍甚至百倍。
現在，智能涌現程度也呈現摩爾定律，甚至以更高速度發展。
在這其中，訓練高精度千億中英雙語稠密模型，對大模型研究和應用有重大意義。
我們可以看到，過去三四年中，有很多人來做相關的探索和研究。
不光是國外，我們國內有很多企業、很多研究團體也做了相關工作，每一個成功都是今天我們看到的成果的基石，一塊塊磚拼接成最終的基座。
ChatGPT讓大家覺得非常驚喜，實際上從基座GPT-3開始到現在經歷兩年半時間，其中很多工作都是在發掘和誘導基座模型的智能能力。
比如SFT、RLHF等方法都是在誘發基座模型的能力，這些智能能力已經存在于千億基座模型當中。
那么，訓練千億模型面臨的挑戰有哪些？
第一是訓練成本高昂。
比如訓練1750億參數的GPT-3，用到了上萬塊V100，機時費用是460萬美元，總成本可達1200萬美元。
第二是人力投入極大。
像谷歌PaLM 530B團隊，前期準備29人，訓練過程11人，整個作者列表68人，但我國能做大模型的人才不足百人。
光是組建這樣一個知識密集型團隊還不夠，還需要成員之間非常緊密的合作。
第三是訓練過程不穩定。
常見的千億級模型訓練數據量巨大，訓練周期又很長，在這之中不可避免會有各種各樣的意外發生。
所有這些意外都會帶來額外的成本和風險，以及不可預測的模型性能下降。
所以這方面我們也在一直努力和清華大學聯合研究，也提出了自己的一些創新，通過融合GPT和BERT兩種訓練框架解決訓練模型問題。
去年8月份，我們開源了1300億參數規模的雙語預訓練模型GLM-130B。
它不僅英文不輸GPT-3，中文也超出同類模型。
與此同時，模型精度也提高了，還能夠通過量化壓縮加速等在低成本情況下跑起來。
大家知道訓練大模型很貴，如何讓大家用較低的成本用起來，也是我們作為商業化公司來講要考慮的問題。
經過我們的努力，不僅能夠讓運行成本降低75%，同時也會不損失任何的精度和推理的速度，最后還能適配國產化硬件，給大家提供更好的選擇。
所以這個開源項目受到全球關注，很多科研機構、大學都來申請使用我們模型進行評測。
2022年11月，斯坦福大學大模型中心對全球30個主流大模型進行了全方位的評測，GLM-130B是亞洲唯一入選的大模型。
在與OpenAI、谷歌大腦、微軟、英偉達、臉書的各大模型對比中，評測報告顯示GLM-130B在準確性和公平性指標上與GPT-3 175B (davinci) 接近或持平，魯棒性、校準誤差和無偏性優于GPT-3 175B。
GLM-130B是去年8月份的開源項目，9月份我們也開源了另外的項目——CodeGeeX。
我們專門針對開發者去設計了這樣一款大模型，提供相應的服務，他們可以利用這個模型來寫代碼，提高他們的生產效率。
CodeGeeX每天線上幫助程序員用戶提供超過400萬行代碼的生成量，大家可以算算相當于多少程序員的工作量。
就在今年3月份的時候，我們終于把GLM-130B升級到了我們自己的聊天對話模型ChatGLM。
這個模型已完成第一階段快速的內測，有將近5000人的規模參與，引起很多關注。
在人類指令的意圖理解這方面它表現不錯，它會比較堅持地認為它是一個AI機器人或者是某種人格的智能體，不會被用戶隨便混淆。
為了讓更多人加入到大模型體驗中來，我們把小一點規模的ChatGLM-6B，就是62億規模的模型進行了開源。
這個項目4天就獲得了6K star，昨天已經超過2萬star，這是我們發布的開源項目中star數增長速度最快的。
這個項目為什么引起大家的熱捧？
因為模型規模僅僅62億參數，可以在單獨一張GPU上就可以運行起來，也就意味著稍微好一點的筆記本帶的顯卡就可以把它跑起來。
甚至有人還在網絡平臺直播怎么玩這個模型，怎么跑這個模型，非常有意思。
業界也做了評測，與GPT-3.5、GPT-4平行評測，包括關于安全性方面測，結果發現ChatGLM模型穩定性不錯，安全性也還行。
基于以上模型，我們提供商業化的服務方式，我們稱之為Model as a Service（MaaS）。
它有多種服務方式，包括端到端的模型訓練服務，從開始訓練到最后應用的開發和集成都囊括。也可以像OpenAI一樣，提供API調用服務，也可以把模型以商業應用的方式提供給大家來進行使用，最后還能幫助大家去開發一些創新的應用。
在這樣的理念下，我們提供BigModel.ai的開放平臺，上面有解決方案、產品、好玩的demo、生成內容、API請求入口，大家可以了解一下。
具體介紹幾個產品。
在座有沒有程序員？
程序員非常喜歡這樣的工具（CodeGeeX），提升大家的工作效率，而且這個工具是免費的，所以大家盡管去試，盡管去用。
其次，文字工作者們也可以用這樣的輔助寫作工具（寫作蛙），完成營銷文案、社交媒體內容，或者做細分場景劃分，比如可以用他來寫一封給我孩子的信，讓他帶到學校去，在老師同學們面前念出來，我覺得寫得比我自己寫的好。
在聊天的場景下（小呆）我們也可以讓它去扮演某一種角色每天跟你聊一會兒，安慰你的心靈，或者你喜歡一個可愛的女朋友，你可以設定一下跟你聊一聊。
商業落地方面，如美團電商平臺，用我們大模型提升廣告推廣以及提高客戶服務場景下的任務的性能；世界杯期間我們也服務了特殊的人群——聽障人士，用手語方式現場實時直播，關愛聽障人士。
未來，大模型能幫大家做很多事情，包括工作、生活甚至創新范式，大模型的快速進步給實現通用人工智能（AGI）帶來了曙光。讓我們一起多一些期待，多一點耐心，一起擁抱這個偉大的AI時代，謝謝大家。
— 完 —
量子位智庫「中國AIGC產業全景報告」
開放下載！
行業首份AIGC產業全景報告已經開放下載！
三大類玩家、四種商業模式、萬億規模市場、最值得關注的50家企業，還有具體的賽道部署機會和行業變革機遇，都將在報告內一一分析呈現。更多產業洞察，不容錯過。
