• 1.5新范式背后的動力引擎

另外一個OpenAI相信的事情就是一一任何范式、改變一切的范式，到最后永遠有個引擎。這個引擎能夠不斷地前進， 不斷地產生價值。它基本上是一個模型體系（model system）,核心是模型架構transformer,即sequence model： sequence ins sequence outs encode、decode 或者是 decode only 都可以。

但最終的核心是GPT,即預訓練之后的transformer,它可以把信息高度的壓縮。

如果你能高效壓縮信息，你一定已經得到知識了，否則無法高效壓縮信息。要實現信息高效壓縮，you have to have some knowledge,伊利亞（Ilya Sutskever, OpenAI首席科學家）堅信的GTP 3.5 ,它已經有一個世界模型在了。 It knows all the intricacies,雖然你做的事情是predict next word,這只不過是個優化手段，它是已經表達的世界的 信息，而且它能夠持續的提高模型的能力，尤其是目前研究比較多的、在子概念空間當中做泛化。

知識圖譜真的不行，it doesn't really work at all, You should use transformer because it generalizes way better hito

更重要的是用增強學習，加上人的反饋，與人的價值對齊。GPT已經做了 4年多，知識已經都封裝在里面了。用不 起來，過去說實話真的是用不起來，也很難用。

最大的是對齊，alignment engineering,尤其是 instruction following,尤其是 instruct following 跟自然語言對齊, 當然，也可以跟代碼對齊、可以跟表格對齊。表格是很重要，微軟的表格就很簡單，把東西放在表格里面很容易做， 或者是跟圖表對齊。

同時它這個模型架構不理想，有很多技術上的問題要解決，但是它能夠充分利用現有的算力。

做大模型是很難的，有個很大難度是Infra。我們這一屆有一個團隊是做跟這個方面有關的。我在微軟的時候，我們每 個服務器都不用網卡，都放了FPGA。網絡的10的帶寬速度都是Infiniband （無限帶寬技術），服務器和服務器之間 都是直接訪問內存的。為什么這樣？因為transformer是密度模型（dense model）,它不光是算力問題，它對帶寬 要求極高極高，可以這樣想，GPT4微軟用24000張到25000張卡訓練，試想世界上有多少人能做這種系統。所有的 數據、所有的data center網絡架構都不一樣。它不是一個三層的架構，必須是東西向的網絡架構。所以雖然它是有效 算力，但是要做大量的工作。

Token很重要，全世界可能有40- 50個確定的token,就是語言的token和模態，現在有更多的token化。當然現在 更多的模型的參數小型化、本地化，任務里面的專業知識模型可以融入這些大模型當中。它的可操縱性主要依靠提示 和調試，尤其是根據指令來調試，根據對齊來調試，或者是In-Context Learning （上下文學習），這個已經觀察得 比較清晰，它的可操作性也越來越強了，可拓展性基本上也足夠。

加在一起，這個引擎并不完美。足夠好、足夠強的引擎，我們從來沒有過。

以上是引擎。那么拐點是怎么到來的？

我們得回答一個問題：Chat GPT為什么能夠在歷史上首次達成兩個月擁有1億活躍用戶，現在已經快接近2億了。勢 不可擋，我每天都用，為什么呢？

首先，它封裝了世界上所有的知識。

其次，它有足夠強的學習和推理能力。如果GPT 3的水平是between high school and college student,那么GPT 4 顯然是一個能進斯坦福，而且在斯坦福排名靠前的人，GPT4具備這樣的學習和推理的能力。

并且，它的領域寬，每個人都能用，知識也足夠深、有價值、足夠好用。這讓Sam自己都surprise,因為沒想到會那 么快。

而且，它的擴展性也足夠的好。還不是很貴，2萬多張卡訓練幾個月，是很大的工程，但是也沒貴到那么離譜，谷 歌、微軟可以做，中國的幾個大企業的也能做，創業公司也在融錢也能做。

所以這一切加在一起，范式的臨界點到了。

“自然語言是人的認知最好的 Latent Space, we know how to manipulate, we just learn to use that Latent Space,而且是最容易做的alignment的途徑”。當然更多的是代碼、圖表，他的可以對齊的Latent Space都可以 做，這是最大的關鍵。

我做自然語言20多年了，不止搜索，在自然語言學術界，Chris Manning是我的science adviser,他是斯坦福的， 他在這個領域我認為是全世界最強的。我在雅虎的時候，有個座位就是保留著給Chris的。

做自然語言處理，in some way, ifs a misnomer,這個問題本身就是一個錯誤定義的問題，今天解決了這個問題。 原來的自然語言處理有14種任務，不管是什么任務，我能夠把動詞找出來，把名詞找出來，把句子分析清楚。句子 分析清楚后，就知道這是形容詞、這是動詞、這是名詞。但這個名詞是包香煙，或是舅舅，或是墳墓，或是電影， No idea,你需要的是知識，自然語言處理沒有知識永遠沒有用。

只有這個情況，自然語言處理才有用，'The only way to make natural language work is you have knowledge”，正 好transformer把這么多知識都壓在一起了，所以這是它的最大突破。

有了這個之后，按照我能看到的，包括跟Sam聊到他們未來是2至3年要做的，Sam也跟我說“ I think I got it, and we know what the research problem and how to solve”。

有幾個關鍵點：第一，模型要變得更稀疏一點，現在它對帶寬要求實在太高，要把attention window拉長一點，或 者是recursion causality推理的功能，包括brainstorming等一些工作要做。

當然還有一些grounding的東西，包括亞符號的、子概念的都可以做。更多的模態，更多的token空間，更多的模型 的穩定性，更多的潛在空間（例如Latent Space對齊），更多的計算，更多的基礎架構工具，這一切在2到3年內 基本上會排滿。也就說，我們大概知道需要什么去把這個引擎繼續做大。

這個飛輪開始啟動，主要是因為資本大量進來了。

美國1月、2月、3月，擋也擋不住，錢全進去了，而且每個月都比上月增長，中國也基本一樣。商業模式和盈利模式 有一定初步的規模，基礎設施、平臺應用、生態在加速開發，初創公司、大型企業都在進入。

當然，社會的安全、監管等一大堆的問題，這是現在Sam最頭痛的事情，他在美國花大量的精力讓社會認可這個技 術，還是有大量的工作要做。現在OpenAI核心做的就是把推進的速度變得比較慢，每推進一個新的版本，都有足夠 的時間讓用戶和用戶群體可以給他們足夠的反饋，找到它的危險或者可能有潛在風險的點，以便有足夠的時間去彌補 和解決這些潛在的問題。

但加在一起，這個增長的飛輪的雛形也基本上起來了。

• 1.6新范式發展的關鍵路徑

接下來我想講一下，有了這個飛輪之后，它的發展路徑是什么？我認為，發展路徑核心是模型的可延伸性和未來模型 的生態，是一個模型無處不在的時代。

那未來的模型世界會怎么發展？

首先是在大模型，將有更多的大模型會出來。

這有兩個層面，一是更多、更完整的模態和更多完整的世界知識都放在這里。這里我稍微提一下，在美國做這個是有 一定優勢的，因為英語是全球語言，英語里有人的所有知識。如果你非不用英語做，其實挺難的，因為英語某種意義 上是從英國開始到美國，經過幾十年，它實際上一個全球語言，所以有大量的知識是在里面的。當然有更多的模態， 學習能力、泛化的能力和泛化的機制一定會加強的，在這些方面一定會做更多。

另外也一定要做更多的對齊。昨天Sam跟大家講，他們目前會關注什么呢？今天對齊，基本上是做到有一部分人能 接受但你也會得罪很多人，很多人每天在罵ChatGPT,要求把它關掉等等。他們想要做到的是足夠寬的一個對齊， 大部分人都想有個像美國憲章這樣一個結果，就是雖然不能夠是大家都認可ChatGPT,但是它足夠平穩、足夠綜 合，大部分人能接受，這是對齊工程。自然語言也好，代碼也好，數學公式也好，表單也好，都有大量的對齊工作要 做。

還有更多的模態，這里先講human scale的模態。它主要是對人的描述，以人的語言為主，目前有語言和圖形這兩種 模態，以后會有更多的模態會接入。

這是在大模型層面，在大模型之上建立的模型會更多。我判斷主要將有兩類模型和它們組合：

第一，事的模型，人類每一類需求都有領域/工作模型，其中有結構模型、流程模型、需求模型、任務模型、尤其是 記憶和先驗；

第二，人的模型，包括認知/任務模型，它是個體模型，其中有專業模型、認知模型、運動模型和記憶先驗。

如果大家對人研究一下，會發現人基本上都是這幾類模型的組合。不管是律師也好，醫生也好，建筑也好，大量的領 域都會有大量這幾類模型。

人的模型和學的模型之間本質的區別，這是我在過去一兩個月中個人認知收獲比較多的。 首先，我們人一直在建立模型，人做很多事情都是模型。人的模型的好處在于它泛化的時候更深、更專業，它基本上 是用符號（例如數學公式）或者結構（例如畫流程圖），具體用起來時都不好用。人的模型要么像物理公式解決很宏 觀的問題，要么解決很微觀的問題。我們日常生活中的問題，物理一點用都沒有，比如它無法告訴我們樹葉的形狀或 者貓狗的顏色為什么是這樣，沒有任何模型可以解決這種問題，很大問題是它的模型都是靜態的，不適合場景變化。 今天有很多模型都很難用，比方說數字李生。因為物理世界一直在變，這個模型僵硬不變，就用不起來，很難用，都 是人建的。尤其內在結構，尤其是用知識圖譜建的模型，我做了幾十年，就超級難算，函數結構差得一塌糊涂，就沒 法弄這東西，一直是幾十年沒法弄。所以人的模型有它的好處，專業性很強，但是也有很大的缺點。

學出來的模型，首先，它本質上是場景化的，是因為它的token是場景來的；第二，它適應性很強。環境變了， token也變，模型自然會隨著環境也變；第三，它的泛化拓展性有大量理論工作要做，但是目前子概念空間的泛化， 看來是很有潛在發展空間的這樣一種模型的特性。它好用，因為它可以對齊人的使用傾向和人的自然語言、表格等 等。它的計算內在是過程性的。這里有大的問題，人表達知識傾向于運用結構，但是真正能解決問題的是過程，人不 適合用過程來表達。大家可以關注一個科學家，叫Steven Wolfram,他花了 50年的時間研究這一切。我講個小故 事，我去微軟，蓋茨叫我見他，見他之前，我還看了他寫的一本書，推薦給大家，口U A New Kind of Science。這本 書這么厚，你看他的引言，大致講就是“自從牛頓之后就是我”。然后他洋洋灑灑講一大堆，就是過程性的表達知識。

但是核心大家可以看一下，這一次ChatGPT代表的這個模型，跟人的模型相輔相成，長期可以融入在一起。

綜合在一起，我們看到的未來是一個更多模型的生態，新的領域、新的專業、新的結構、新的場景、新的適應能力， 形成閉環，不斷地加強認知和推理的能力。當然，最終還是要grounding,跟感知要ground ,和接入行動的能力， 形成真正的智能。

某種意義上，二十年、三十年以后，模型世界跟生物世界有很多類似的地方。大模型某種意義上是基因，有不同的種 類。大模型可能有不同的spicy,然后它有epigenerics、genetic,然后進化，evolutiono所以我們目前能夠看到未 來核心技術模型世界，它是用這個方法來向前驅動的。有了這個觀念之后，我們基本上對這個時代的范式有了一個， 我認為是結構性的理解。它內在到底是怎么回事？接下來我們如何來擁抱這個時代？

2,擁抱新時代

• 2.1擁抱新時代：宏觀發展格局

首先，這個范式所推動的新時代，在經濟上是全球范圍的，它的發展有這樣幾個大的特征：

第一，發展速度會非常快，這個拐點爬升速度會很快。我們奇績開始發行大模型日報，實在沒辦法了。接近快10個月 了，論文、代碼實在是跟不上。到后來說：“唉，我實在不行了，你得幫我弄個日報”，我叫Jack去做大模型日報， just too mucho 然后，基本上每周都會有一兩個 holy shit moment： MHoly shit! You can do this now”。

大家如果感興趣的話，世界在急速變化，我曾經還說在95年、96年有這個感覺，但我今天說，現在比95年、96年還 要強，這個跟發展結構有關。為什么？如果你可以把模型的結構成本去掉，這是我們的核心，知識創造就是模型和知 識的獲取，它結構性發生演變了。那為何會發生系統性的推進？答案就是首先從邊際成本轉向固定成本，這個一定會 發生的。

第二，生產資本會從兩個層次全面提高。第一，它可以使所有動腦筋的工作的成本降低、產能提升。我們目前一個基 本假設，包括OpenAI包括我跟微軟聊，碼農的成本會降低，但是對碼農的需求會大量增加，我們目前假設碼農不用 擔心，以后不知道。然后因為會有對軟件的大量需求，因為這個東西便宜了我就多買，對吧。軟件永遠是可以解決更 多問題的，但有些行業就未必。所以這里是生產資本的廣泛提高，productive capital all elevateo

另一方面，生產資本的深層提升。有一些行業的生產資本，本質上就是模型驅動的。例如醫療，這是一個模型行業， 一個好的醫生就是一個好的模型，一個好的護士就是一個好的模型，醫療這種產業本質上就是強模型驅動的。現在模 型提高了，科學也隨之提高。在游戲核心產業，我們的產能將是本質性的、深度的提高。同時，產業的發展速度一定 會加快，因為科學的發展速度加快了，開發的速度加快了，每個行業的心跳都會加快。由此，我們認為下個拐點會加 速。我們看機器人，用大模型做機器人、自動化、自動駕駛，這個已經勢不可擋了。越來越多的創業公司也好，大公 司也罷，都看到這個機會了，在結構上有這么多強勁的驅動力。

同時，它對每個人都將產生深遠和系統性的影響，因為我每個人或多或少都要動腦筋，都要用模型。我們目前的假設 是，今天在座的每一個人，很快將有副駕駛員，不光是一個，可能五個、六個，有些副駕駛員他夠強就會變成正駕駛 員，可以自動去幫你做事情。更長期，我們每個人都將有一堆副駕駛員組成的駕駛員團隊來為我們服務。未來的人類 組織，就是真人加上它的副駕駛員和真駕駛員一起協同，co-pilot, auto pilot, uTeam pilot is absolutely given.J,o

毫無疑問，每個職業、每個人都會受到這樣一種根本性的影響。同時，對每個行業都有一樣的結構性影響，都會系統 性地進行重組，開始把邊際成本移到固定成本。

首先，我們先講一下這個簡單公式是什么（【$X/小時（人工）-$Y （硬件和規模化）】x數量二降本增效）。比如， 今天動腦筋的人一天平均工資是多少美元每小時，減掉ChatGPT的價格（現在ChatGPT大概平均是15美元/小時， 再過三年可能不到1美元/小時，再過5年可能幾美或是幾十美分），然后再乘一下有多少數量。降本或者增效，讓每 個碼農都變成super碼農，把每個醫生都變成super醫生。

其實大家基本上都可以按照這個公式算一算世界上有多少行業，如果你是華爾街的對沖基金，你基本上可以做空其中 很多行業。舉個簡單例子，律師在美國的平均收費是1500美元/小時。我在網上看到每天都有這種消息“如果你想離 婚，不要找這個離婚律師，用ChatGPT離婚很便宜”，因為它都能告訴你該如何離婚。或者你被車撞了，你要向肇事 者要錢，為什么要去付錢給律師，用ChatGPT不就很簡單嗎？

如果是這樣，就可以算算，開發人員、設計師、研究人員都一樣，有些是有更多的需求，有些是成本下降，在發生系 統性的改變。尤其是在核心產業（科學、教育、醫療），這也是OpenAI長期最關注的三個行業，因為這永遠是整個 社會最根本的，尤其是醫療。中國在醫療領域，第一，供需不平衡，需求遠遠大于供給。第二，中國某種意義上是大 政府驅動的市場經濟。某種意義上政府可以扮演更大的角色，因為政府可以承擔大量的固定成本，例如在制造業、商 業等行業。我們認為將對大量的產業造成深遠影響，例如新平臺和應用、新贏家和輸家都會涌現出來。

對市場的長期影響，最為重要的是教育，因為教育是人力資本的未來。至少在美國，我過去和一些人聊，目前他們是 處在一個迷惑探索階段。因為，首先，如果你是大學生，你第一擔心的問題是“現在考試怎么考”。你會覺得沒法考 了，因為一問GPT,它什么都知道。但更重要的問題是，以后如何定義一個好的大學生。假如有個大學生，他什么都 不懂，他不懂物理等學科，但是他懂怎么去問GPTO如果這樣，那他算不算是一個好的大學生呢？我們到底該怎么 辦？ K12怎么辦？

挑戰永遠是與機會共存的。這些問題要回答，但是我們，尤其是我個人或者我們YC奇績所代表的更是機會，讓有勇 氣、有抱負的創業者、技術開發者去解決這些根本性的問題，包括科研、社會在內。尤其是在美國，這個問題比較嚴 重。因為美國的互聯網什么都有，你要找罵猶太人的，你可以找到GPT大罵猶太人。它所有的人都得罪，這邊、那 邊都要封住它，美國的互聯網就是這么回事，所以美國要花大量的時間去解決這些社會性的問題。

• 2.2擁抱新時代：中國初步發展

中國的發展，按照我們能看到的，我們奇績團隊做了大量的工作。我們認為主要是要“追趕”，但是我在前面也跟幾位 來訪的客戶提到，不要feel t。。bad。因為本質上蓋茨對此也目瞪口呆，谷歌對此也目瞪口呆，我們不是給自己找借 □ o如果你目瞪口呆，人家厲害的也目瞪口呆，只不過我們可能更需要認真去追趕。

我們首先要做重建自己的GPT-3.5到GPT-4的基礎能力，基礎能力的模型要有。有了基礎能力之后，即知識壓縮得 非常有效之后，要對齊，包括自然語言、代碼等的對齊，還要有足夠的Token和模態。中國的中文Token夠不夠是個 問題，一定要大量地用英語開始。這里我要講一個重要的問題，即OpenAI這個大模型，它底層的文化本質上是基督 教文明，這對每個小孩、對每個人的影響很深遠。

像中國必須得有自己的模型，因為我們的文化底蘊是不一樣的。當然，中國的語料夠不夠、跟英語的語料怎么去對 接，這些都是大量需要去解決的核心問題。例如建設基礎設施中的網絡計算系統、訓練系統、推理系統，這些都還有 大量工作要做。為了匯聚足夠有效算力，在芯片、工具和開發系統領域，尤其是芯片領域，美國在中國打壓，我們現 在基本能買到是A800,美國現在用的是H100,我們如何克服這樣的困難？同時，有了這些東西之后，要建立模型 的延伸，開發model extensibility、模型的API及Plugin等等，逐步形成中國自有的ChatGPT這樣的生態，這需要 很強的團隊很專注地執行，才可以快速追上。

同時，市場也開始發展。大廠（如百度等）和科研機構，包括我們的智源也在做。尤其智源他們是開源的，對我們創 業、創新生態來講，更關注有開源的、低門檻的技術。創業公司和資本市場已經大量投入了，一會我會給大家分享一 些具體的信息。核心資源方面，人才、算力、數據、資本和國外市場鏈接。在這個階段，跟國外還是要強鏈接的。同 時平臺公司又會講，為什么今天雖然有那么多人走，但錢還是大量進來了。這種公司很高概率是萬億美元的公司，平 臺公司、基礎設施應用、關鍵行業。我們要緊跟OpenAI的前沿，開拓中國自己的模式。中國有自己好的地方，我們 判斷之后中國未來的創新生態會更寬，商業模式等探索可能會更活躍，因為畢竟中國體量大，我們現在就一定要快速 追趕。

中國是以政府引導為主，這一定離不開整體布局、基礎設施建設，發揮國家的優勢，尤其是固定成本（例如醫療等行 業），國家可以承擔這方面的固定成本。監管治理是一定要有的，當然對中國的影響也一樣，教育、科研、文化與文 明的長期發展，在中國這個階段我們需要對大模型關注。

• 2.3擁抱新時代：基于OpenAI的產業生態快速形成

接下來講一下，為什么我們今天要開大模型這樣的會。說實話，我是跟Huangqi說開這個會，大概是在這個禮拜。 本來說要再過一陣，但是我覺得必須開了，因為OpenAI生態形成了，再不開就來不及了。

我跟大家講一下OpenAI的生態是怎么回事。OpenAI某種意義上，它的生態結構跟一般的生態公司很像，它內在的操 作系統或者核心是什么？就是基礎模型，例如GPT-1/2/3/4,現在GPT4,里面有大量模型上的、組合性的、能力上 的突破。它的操作系統或是生態內核是GPT, 一般操作系統內核它都有可延伸性的。GPT4本身是有API的，你可以 用它來開發模型和模型相關的應用。同時，就像一個平臺公司一樣，好的平臺公司它都有一個用戶界面，例如 windows有Desktop. Fire Explorer,它的核心的是Chatgpt,這是它核心的用戶界面，它本身是一個很好的APPO 平臺的定義是完整可延伸的體驗和完整可延伸的能力，能力是模型，體驗是ChatGPT。ChatGPT兩天前Plug-in剛剛 出來，我在美國上看到很多的，可能YC這一屆一半的公司發展不下去了，因為他們做的東西Plugin就可以實現。 一會我會講，你要做這個東西一定要朝未來看，你做的東西，Plugin—能做，你不就完了嗎？他很多很多都進來了， 所以上面他基本上有雛形，商業模式雛形，兩邊收費，ToB這邊來收費，ToC這邊收費，長期肯定會有一定的支付 模式，讓開發者在他的平臺上可以賺到足夠的錢。最終，他有投資生態，OpenAI自己投，當然YC也是他的生態， 所有的YC他都直接觸達，不斷地在YC的社區當中有大量雙向互動，使得OpenAI非常活躍。大家以后看一下我們 的大模型日報，每天都有大量的新東西出來，這個速度實在是非常非常快，我們既興奮，但某種意義上又擔心我們追 趕不上。

• 2.4擁抱新時代：新產業加速

接下來講一下OpenAI已經很快形成生態了，整個產業在過去3個月發展實在太快，技術上大量的核心問題都在不斷 地解決。每個禮拜你肯定會看到有人感慨“Oh my god”，東西都出來了，一大堆技術上的進展，同時產品上搜索以 后，你看產品的密度越來越高，產品不斷涌現出來。同時在資本層面，過去每個月美國的VC融的錢、創業公司融到 的錢，都是進入這個方向。另外在中國，例如楊植麟、沈向洋、李開復、李沐、王小川、王慧文、李志飛等等，這些 團隊我們都聊過了，有好多團隊都在組局，同時也有很多的應用在開發。開發應用很多是用美國的，但是中國的舉動 和速度，包括大廠、創業公司、資本，進場的速度是非常之快，這是必然的。

當然，會有泡沫，這跟歷史上任何時期都是一樣的，這些變革它到時候一定會泡沫的，但是泡沫之后會有大量留下來 的，大量嶄新的機會可以創造價值。

• 2.5擁抱新時代：中國大模型分布

接下來看一下中國大模型分布，具體我就不講了，包括中國的算力、顯卡的分布、數據的來源、infra,以及政府機 構、創業公司、大廠、不同的領軍人物，可以看到以他們所代表的市場上的機會。

總結一下，整個時代在高速緊張，速度越來越快。這是結構上決定的，跟這件事情的本質有關。勢不可擋，一定會越 來越快，機會越來越多。