自ChatGPT發布以來，中國大模型產品距離ChatGPT有多遠，始終是AI行業內最為關心的一個話題。如今，這個問題可能有了答案。
1月16日，在2024智譜AI技術開放日Zhipu DevDay上，CEO張鵬發布了新一代基座大模型GLM-4，性能接近GPT-4的90%。
過去一年里，智譜AI幾乎每3-4個月就完成一次基座大模型的升級。GLM-4的發布，是智譜AI在去年10月發布ChatGLM3三個月后，又一次完成基座大模型的升級。
作為國內最早入局大模型技術的公司，也是大模型迭代最快的公司之一，智譜AI曾在2023年初設立了一個雄心勃勃的目標：用一年的時間追平OpenAI最先進的模型。
從目前看，智譜AI距離這個目標越來越近了。
/ 01 / GLM4等于90%的“GPT-4”
去年10月，智譜AI發布了ChatGLM3，并讓人印象深刻。最直觀的表現就是ChatGLM3 “瘋狂屠榜”，所有50個大模型公開性能測評數據集中，拿下44個全國第一。
相比上一代ChatGLM3，GLM-4性能也有了明顯提升。先說基礎能力，在MMLU、GSM8K、BBH、MATH、HellaSwag、HumanEval數據集指標上都接近了GPT-4 90%以上。
那么，這些數據集分別代表什么能力呢？
MMLU全稱是測量大模型多任務下的語言理解能力，里面包含了基礎數學，歷史，法律等共57個方面的題目，難度從高中到大學不等。目前，GLM4是81.5分，GPT4是86.4分，目前能達到GPT4的94%。
GSM8k 和 MATH 則是評估大型語言模型數學能力的標準基準，兩者在難度上有所差異。前者GLM4能到GPT4的95%，后者GLM4只能達到GPT4的91%。
BBH是一個典型的推理型數據集，涵蓋翻譯、語言理解、邏輯推理等任務，這方面GLM4幾乎能夠與GPT4打平。
HellaSwag則是一個測試常識推理的測試，對人類來說很容易（~95%），但對最先進的模型來說卻具有挑戰性。在這點上，GLM4只能到GPT4的90%。
HumanEval 則是由 OpenAI 編寫發布的代碼生成評測數據集，主要是評測大模型在算法、代碼、編程層面的效果。這是GLM4的強項，和GPT4在一個水平。可以說，以上的指標涵蓋了大模型在語言理解、數學能力等多種能力。從基礎能力角度上說，GLM4的能力差不多與90%的“GPT-4”相當。
第二項能力是指令跟隨能力（中英），顧名思義這是考驗模型對用戶Prompt和Instruction的理解能力。在這一點上，GLM4的能力在GPT4的85%-90%之間。考慮到GPT4現有的語義理解和吃Prompt的能力，這樣的表現也算不上差。
而在中文的能力上，GLM4的表現基本全面超過GPT4。當然，這背后很重要的一個原因是，GPT4訓練的中文語料有限，而GLM4在這方面具備天然的優勢。
第三個能力是LongBench，這是考驗大模型的長文理解能力。此前，ChatGLM曾被人詬病處理長對話時上下文理解得不好、記憶力差。但后來，GLM 技術團隊開發了專門針對模型長文本理解能力的評測數據集 LongBench。從目前看，GLM4在這個能力上已經超過了GPT4。
至于”大海撈針”測試，更像是對大模型在長文理解上的一次壓力測試，128K相當于300頁左右的PDF材料。
測試的目的是評估大模型從大量文本中檢索信息的能力，特別是當信息被放置在文檔的不同位置時的準確率。橫軸表示上下文長度，縱軸表示文檔深度的百分比，也就是要表達的信息（事實）被放置在整個文檔中的位置，如果信息在文檔的正中間，那么它的文檔深度接近50%。
GLM4的”大海撈針”全綠，說明即使你扔給它一部300頁的小說，它也能夠精準找到想要信息。此前，有人給Claude2.1做過類似測試，在130K的文章長度上測試在35 個不同的文檔深度，結果Claude2.1能取回結果的不到一半。這也一定程度上說明了GLM4在長文理解上的模型能力。
通過以上種種不難說明，GLM4在文本理解、指令跟隨、長文理解等多項能力上都表現出了接近GPT4的能力。
/ 02 / 緊跟OpenAI腳步，ALL Tools和GLMs相繼上線
除了基礎能力的測評，智譜AI還上線了All Tools模式和GLMs。
什么是All Tools？這是OpenAI最早推出的模式，是在GPT4的基礎上，把其他各種功能模塊統一接入了，只需選擇一個模型就能支持GPT4對話、高級數據分析（代碼解釋器）、多模態（圖片分析）、DALLE3繪畫、聯網等功能，支持直接上傳Excel、PDF、圖片等文件來關聯對話，會根據需要自動調用不同模式的功能。
在這個模式前，GPT4各個主要功能分散在不同的渠道、涇渭分明。比如，你想把一張照片，用 DALL-E 重新繪圖，你需要首先把你的照片傳給“多模態模式“，讓它描述照片的內容，然后你到 DALL-E 輸入提示詞。
但隨著All Tools的推出，整合工具后的 GPT-4 不再需要切換即可使用所有的功能。也就是說，GPT4 將根據你給的指令理解你的意圖，自動選擇并串聯多個工具完成任務。
更重要的是，All Tools也被認為形成一個小型Agent的前提。而如今，智譜是國內第一個真正推出ALL Tools模式的公司。
不僅如此，智譜也正式上線了他們的GLMs。不久前，OpenAI上線了GPTs，用戶甚至不需要會編程，僅通過對話聊天方式，就打造一個專屬個性化的GPT，用戶可以將它設計為私人使用，也可以專門給公司內部使用，或者通過「GPT商店」賺錢。
在很多人看來，GPTs可以理解為大模型領域的蘋果“App Store”，其價值在于給了大家更多創造基于GPT技術應用和服務的機會，讓其后續構建基于AI新的經濟生態變成了可能，并有望打破AI商業化的難題。
這可能也是智譜上線了GLMs的考慮。與GPTs類似，用戶同樣可以在GPTs創建智能體，甚至分享給其他用戶。智譜表示，公司即將公布GLMs創作者分成計劃。
不過與GPTs不同，GLMs的頁面上沒有搜索，只有官方推薦。當然，這個可能功能與處于早期，智能體數量較少有很大關系。
從底層技術測評到ALL Tools和GLMs等功能的相繼上線，種種跡象顯示，智譜AI正在離中國Open AI越來越近了。
/ 03 / 摸著OpenAI過河
在中國AI產業里，智譜AI是一個不可不提的名字。因為這可能國內“百模大戰”中估值最高的明星大模型公司，沒有之一。
2023年10月，智譜AI宣布完成超25億人民幣融資，投資方匯聚了國內一線明星機構，包括社保基金中關村自主創新基金（君聯資本為基金管理人）、美團、螞蟻、阿里、騰訊、小米、金山、順為、Boss直聘、好未來、紅杉、高瓴等。這樣的股東陣容不可謂不豪華。
投資人紛紛押注智譜AI的邏輯很簡單，智譜AI是最早研發大模型的企業之一。
智譜AI的前身，是在2006年誕生于清華大學計算機系知識工程實驗室（KEG）的明星產品AMiner——學術搜索與情報挖掘平臺。清華大學教授、KEG主任唐杰，是AMiner的核心創立者之一。
2019年，清華大學教授李涓子、唐杰等人依托AMine為基礎，共同成立智譜AI，公司CEO由張鵬擔任，他是國內首個中英文平衡的跨語言知識圖譜系統XLORE的設計和研發者。2020年，OpenAI發布GPT-3，讓張鵬認識到大模型將成為未來的方向。于是，剛成立一年的智譜AI開始全力投入大模型的研發。
回過頭來看，提前3年的“搶跑”，讓智譜AI有更多的技術底氣。時至今日，智譜AI在Hugging Face上的下載量超過1100萬次，位居全球最受歡迎開源機構第五名，也是國內唯一上榜的公司；其對話模型ChatGLM在GitHub上獲得了5萬+顆星，超過Llama。
正如很多投資人所說，歷史上沒有哪個賽道能夠像這波 AI 一樣，迅速建立極大的共識。相比于應用端的不確定性，投資人更愿意抱團底層大模型玩家。而擁有技術儲備的智譜AI就成為所有人的最優選擇。
從目前看，智譜AI的發展策略也很清晰——摸著OpenAI過河。在國內，智譜AI可以說是唯一一家全系對標OpenAI的公司。這也在此次發布會中體現得淋漓盡致。
對于智譜AI來說，這不失為一種好的策略。在大模型商業化前景尚不清晰的當下，坐擁著國內一線明星機構的資源和背書，在中國AI產業的追趕進程中，扮演好最接近OpenAI的角色，能夠讓智譜AI在相當長的時間里成為站在舞臺中央的那個“明星”。
