精品伊人久久大香线蕉,开心久久婷婷综合中文字幕,杏田冲梨,人妻无码aⅴ不卡中文字幕

Ben Thompson：上次你們二位來訪是去年 10 月，那時(shí)距離 ChatGPT 在全球范圍內(nèi)掀起生成式 AI 的熱潮只有一個(gè)月，可以說我們非常早就預(yù)見到了這個(gè)重大時(shí)刻。現(xiàn)在已經(jīng)是 2023 年 8 月了，這次你們想做出什么樣的預(yù)言？

Nat Friedman：去年 10 月的時(shí)候 Stable Diffusion 相當(dāng)火爆，我們都期待人們能對文本和 Chatbot 產(chǎn)生更大的興趣。后來人們對 ChatGPT 的狂熱也證實(shí)了我們的觀點(diǎn)。現(xiàn)在，我們正處于一個(gè)最好的時(shí)代，但同時(shí)也是最壞的時(shí)代：相較半年前，AI 初創(chuàng)公司的數(shù)量比以前高出 3 到 5 倍。

Ben Thompson：你們創(chuàng)立 AI Grant 的出發(fā)點(diǎn)之一是好奇做 AI 的初創(chuàng)公司都去哪了，畢竟 AI 技術(shù)有著巨大潛力，必須快速產(chǎn)業(yè)化，目前看這個(gè)問題也迅速得到了解決？

Nat Friedman：沒錯(cuò)。不過這也導(dǎo)致了另外一個(gè)問題，就是 AI 領(lǐng)域投資人數(shù)量激增，并且現(xiàn)在很多人還處于一個(gè)上頭的狀態(tài)，可以說目前是這一波 AI 熱潮周期的最高點(diǎn)，市場上很多炒作情緒是完全不合理的，只是在毫無價(jià)值的項(xiàng)目上燒錢，但這種情況中，也確實(shí)誕生了一批極佳的新產(chǎn)品和初創(chuàng)公司。整體來說，當(dāng)前市場信息噪音很大，泡沫也很多，但只要小心這些新事物的陷阱，目光放長遠(yuǎn)，仍然可以找到很多有成功潛力的東西，不要把目光局限在 ChatGPT 、 Midjourney 這樣已經(jīng)人盡皆知的大型通用類產(chǎn)品。

Daniel Gross： ChatGPT 背后的技術(shù)是在 2020 年 6 月問世的，我查了一下 iPhone 推出三年后 App Store 上流行的免費(fèi) App，或許能給我們一些靈感，前十名包括 Facebook、Angry Birds Light、Words with Friends、Skype、Tap Tap Revenge、Paper Toss 等等。這些 App 有很多已經(jīng)不再為人所知，但在當(dāng)時(shí) Angry Birds（憤怒的小鳥游戲）就像劃時(shí)代的發(fā)明一樣。

Ben Thompson：現(xiàn)在確實(shí)很難看出來有哪些項(xiàng)目會成為 AI 時(shí)代的 Uber 或者 Instacart ，也有可能在一年后就出現(xiàn)了。你覺得這場浪潮真正的起點(diǎn)是 ChatGPT 還是 GPT-3？如果類比到 App Store 可能我們現(xiàn)在的時(shí)間要更早，類似于 2009 年的 App Store ？

Daniel Gross：GPT-3 可能只是面向開發(fā)者，而非消費(fèi)者，而 ChatGPT 則標(biāo)志著 to C 的 AI 產(chǎn)品的起始。與 iPhone 首先在 C 端流行的情況不同，OpenAI 的情況是相反的?？偟膩碚f，我無法確定這樣類比正不正確，在這個(gè)時(shí)間點(diǎn)每個(gè)人都很困惑。

英特爾創(chuàng)始人 Andy Grove 的一個(gè)觀點(diǎn)是，人們在行業(yè)轉(zhuǎn)型的過渡期會看不清方向，現(xiàn)在就是這樣一個(gè)階段。現(xiàn)在看起來的 big thing，未必能夠長存；相反，一些現(xiàn)在還小的公司，以后可能會成長為有影響力的大公司。

Ben Thompson：確實(shí)，手機(jī)無疑是最直觀的類比，但我不確定這樣比是否合適，因?yàn)槭謾C(jī)畢竟是硬件。從歷史上來看，新技術(shù)常帶來新的商機(jī)，新的用戶界面是新公司涌現(xiàn)的機(jī)會，可能會帶來新范式或全新的用戶體驗(yàn)。

我認(rèn)為 AI 更重要的一點(diǎn)在于，它對商業(yè)模式造成了根本性的轉(zhuǎn)變。互聯(lián)網(wǎng)時(shí)代，我們已經(jīng)基本實(shí)現(xiàn)零消費(fèi)成本，公司原本的地域限制以及各種影響都一并消失。現(xiàn)在盡管還有推理成本，但 AI 在信息生成方面已經(jīng)趨近于零成本，我覺得這將比互聯(lián)網(wǎng)產(chǎn)生更大規(guī)模的影響，只是需要時(shí)間，就像互聯(lián)網(wǎng)的影響大于 PC 也需要更長時(shí)間才能顯現(xiàn)。

PC 在 1982 年問世后很快就成為巨大商機(jī)，帶動(dòng)了強(qiáng)勁的銷售增長。這也使得 Microsoft 成為一家高盈利公司，幾乎不需要 VC 投資。但是，我還并不確定 AI 是否會和 PC 一樣很快帶來明顯的商業(yè)價(jià)值和銷售增長。Netscape 后來成為一段歷史，像 Google、Facebook 這些真正有影響力的大公司直到 10 年后才開始嶄露頭角。

Daniel Gross：是的，我同意?；蛟S我們被 History rhymes， it doesn’t repeat（歷史總是相似的，但并不重復(fù)）這句話困住了。

Nat Friedman：最近半年有一個(gè)很明顯的趨勢是大模型和生產(chǎn)力場景的結(jié)合。換句話說，這些模型通過自動(dòng)化，替代或強(qiáng)化了企業(yè)內(nèi)部某些工作流程，它們的競爭對手不是軟件，而是一些工作崗位，是“知識型工作者”。

例如，我們最近了解到一家名為 AutogenAI 的公司，它可以自動(dòng)為政府采購中標(biāo)企業(yè)遞交申報(bào)材料。這給企業(yè)節(jié)省了大量時(shí)間，取代了許多以前需要顧問來做的重復(fù)性智力工作，這家公司未來會有非常廣闊的應(yīng)用前景，讓企業(yè)有機(jī)會去申請更多項(xiàng)目，從而獲得更高的中標(biāo)機(jī)會，進(jìn)而實(shí)現(xiàn)收入的提升，這家公司目前增長相當(dāng)迅速，可以看作是一個(gè)成功案例。

個(gè)性化虛擬形象視頻生成也是個(gè)很好的例子，并且這個(gè)領(lǐng)域已經(jīng)形成一個(gè)完整的產(chǎn)業(yè)，人們可以在平臺上定制視頻，甚至插入自己的聲音，比如“哈嘍 Ben，我注意到你對我們的產(chǎn)品感興趣，我來給你介紹下……”大概流程就是生成文本，輸入進(jìn)虛擬形象平臺，然后生成逼真的個(gè)性化虛擬形象，將其應(yīng)用于廣告、個(gè)人對外溝通、培訓(xùn)等場景。相比過去因成本所限無法制作視頻，現(xiàn)在這項(xiàng)技術(shù)這樣大大降低了門檻。目前比較知名的公司有 Synthesia、D-ID、Hayden 等，它們都在這個(gè)領(lǐng)域表現(xiàn)突出，業(yè)務(wù)增長迅速。

另一個(gè)相似的是電商優(yōu)化（optimizing e-commerce）領(lǐng)域。這個(gè)領(lǐng)域已經(jīng)存在有一個(gè)完整的行業(yè)生態(tài)，業(yè)內(nèi)的顧問、專家和公司專注于圍繞產(chǎn)品標(biāo)題和描述做搜索引擎優(yōu)化（SEO），還有亞馬遜登錄頁面的轉(zhuǎn)換率優(yōu)化等?，F(xiàn)在這些專業(yè)知識正在轉(zhuǎn)化為模型工具，能自動(dòng)進(jìn)行測試與優(yōu)化，用 LLM 就可以運(yùn)行，為客戶帶來實(shí)質(zhì)經(jīng)濟(jì)效益，很多還能與人力團(tuán)隊(duì)競爭，這很有意思，因?yàn)榱骄艂€(gè)月之前這個(gè)市場都是基本空白的。而在我剛才提到的每個(gè)細(xì)分領(lǐng)域中，幾乎都有一家公司正在或即將通過提供產(chǎn)品/服務(wù)獲得千萬級別的收入。

Ben Thompson：突然想到一點(diǎn)，與我剛剛說的恰恰相反，感覺更像是 PC 爆炸式增長的實(shí)際情況。我覺得 PC 當(dāng)時(shí)流行的一個(gè)重要因素在于它替代了大型計(jì)算機(jī)，使用更加便捷，導(dǎo)致難以回歸到大型機(jī)時(shí)代，雖然大型機(jī)有時(shí)候可能是個(gè)更好的選擇。

過去的會計(jì)部門都規(guī)模龐大，一大批員工通過手寫賬本的方式完成工作。后來隨著電腦的應(yīng)用，基本上整個(gè)部門都被取代了，因?yàn)殡娔X可以做的更好、更準(zhǔn)確，這確實(shí)與自動(dòng)撰寫招標(biāo)申報(bào)書的情況很相似。

另一個(gè)關(guān)于虛擬形象方面的看法是，AI 具有人性化的一面。有人分析推特為什么沒能成為主流社交平臺，我個(gè)人一直覺得是因?yàn)橥铺厥俏淖诸惼脚_，而大多數(shù)人更喜歡語音和視頻交流。過去可能有人不擅長寫文案，因此被排除在部分經(jīng)濟(jì)活動(dòng)之外，而虛擬形象技術(shù)使得交流更具包容性。

Nat Friedman：是的，目前企業(yè)內(nèi)部存在大量文本類（text-to-text）工作，現(xiàn)在也包括文本到視頻（text-to-video）工作。這些工作中有很大一部分可以通過 LLM 實(shí)現(xiàn)自動(dòng)化、效率和產(chǎn)出的提升。還有一些法律科技公司正在利用 LLM 替代或增強(qiáng)律師助理的工作，例如 Harvey、Robin 和 Spellbook 等。他們能完全取代律師嗎？當(dāng)然不能，但在一定程度上，這些工具能快速高效地完成律師需要花大量時(shí)間完成的機(jī)械性工作。

醫(yī)療環(huán)境中的臨床信息記錄也可以和 LLM 結(jié)合起來。

企業(yè)成功的秘訣一直在于軟件和人員的有機(jī)組合，但隨著 LLM 帶來的軟件能力的提升，軟件可以接手的工作量在增加。這使得企業(yè)在朝著一種“cybernetic”方式發(fā)展，即人與機(jī)器在工作流程中的有機(jī)融合，LLM 和企業(yè)工作流的融合是不可逆的。

Ben Thompson：我一直在思考的一個(gè)問題是公司的本質(zhì)是什么，企業(yè)的持續(xù)性和意義從何而來。公司要是想要更持續(xù)，就不能太依賴于人，因?yàn)槿诉^于不可控。公司要想更長久的本質(zhì)是什么？我的觀點(diǎn)是，企業(yè)的本質(zhì)在于數(shù)據(jù)以及流程，所以我對能夠抓住這一機(jī)會的公司極感興趣。雖然 Box 和 Dropbox 至今依舊存在，但卻未能成為擁有超級影響力的公司，但另外一方面，AI 的重要性在一定程度上得到了驗(yàn)證。

Microsoft 和 AWS 都在財(cái)報(bào)會上提到，他們對自己的位置相當(dāng)樂觀，因?yàn)閿?shù)據(jù)處理是數(shù)據(jù)流的下游過程，而他們已經(jīng)擁有了數(shù)據(jù)。一個(gè)公司變得越來越像計(jì)算機(jī)、越來越智能化是一種自然進(jìn)化，這也正是激勵(lì)體系所推崇的方向，也就是讓企業(yè)不要過分依賴人。

Nat Friedman：我認(rèn)為你說得完全正確。這里涉及到一些哲學(xué)問題。哲學(xué)家尼克·蘭德（Nick Land）提出了一個(gè)很棒的觀點(diǎn)，他認(rèn)為資本主義和 AI 本質(zhì)上是相同的，因?yàn)橘Y本主義驅(qū)動(dòng)著一種去人化的演化進(jìn)程（impersonal process improvement），這個(gè)很好理解。但他另外一個(gè)更有趣的觀點(diǎn)是，人們之所以對資本主義感到不適，是因?yàn)橘Y本主義從根本上來說是一種基于生物基質(zhì)運(yùn)行的程序，對人類來說并非理想環(huán)境。

因此，“對于人類而言，所謂資本主義的歷史實(shí)際上是一場由來自未來的人工智能空間發(fā)起的入侵，它必須完全依靠敵人的資源來組裝自己?！?/strong>在一些新的 AI 產(chǎn)品的生產(chǎn)中，我們可以看到這種情況的發(fā)生，以前你可能需要雇傭代理機(jī)構(gòu)或團(tuán)隊(duì)來做的事，而現(xiàn)在越來越多地可以使用模型來完成。

Ben Thompson：這是否進(jìn)一步印證 AI 最具價(jià)值的應(yīng)用場景主要在企業(yè)場景這個(gè)觀點(diǎn)？因?yàn)槠髽I(yè)會以傳統(tǒng)理性的方式考慮成本，即大額前期投入將在未來某個(gè)時(shí)間區(qū)間內(nèi)得到回報(bào)。而消費(fèi)者更注重體驗(yàn)，未必會考慮全生命周期成本。另外，已經(jīng)擁有數(shù)據(jù)的企業(yè)優(yōu)勢將會相當(dāng)明顯。新公司還有機(jī)會進(jìn)入這個(gè)領(lǐng)域嗎？

Daniel Gross：我認(rèn)為 B 端往往是進(jìn)步的開始，大家通常都會瞄準(zhǔn)企業(yè)來去做改進(jìn)，比如早期的電視節(jié)目是以廣播節(jié)目為基礎(chǔ)進(jìn)行轉(zhuǎn)化的，以及 Horseless Carriage（無車馬車，即最早期的汽車，以內(nèi)燃機(jī)驅(qū)動(dòng)，但外形上仍舊是馬車）的起源等等。所以我認(rèn)為目前很多 AI 產(chǎn)品還屬于 V1 版本，它們的目標(biāo)僅僅是利用技術(shù)可以實(shí)現(xiàn)自動(dòng)化，因?yàn)楝F(xiàn)在可以進(jìn)行自然語言交互了。

以后的 AI-native 應(yīng)用案例將更多地面向消費(fèi)者，這些應(yīng)用將完全不同，它們不再是取代之前的某個(gè)過程，而是創(chuàng)造了以前從未有過的全新功能。就比如現(xiàn)在互聯(lián)網(wǎng)上消費(fèi)者能體驗(yàn)到的東西，其實(shí)和以往任何事物都不一樣。

Ben Thompson：Midjourney 和 Character.AI 似乎就屬于在想象力層面提供了全新體驗(yàn)、和以往的任何事物都不相同。

Daniel Gross：是的，之前有觀點(diǎn)認(rèn)為，機(jī)器人（Robotics）會非常擅長藍(lán)領(lǐng)工作，但機(jī)器在人類心理學(xué)方面表現(xiàn)非常糟糕，心理學(xué)正是人與人之間聯(lián)系的最后一個(gè)領(lǐng)域。可事實(shí)證明，機(jī)器人（拾象注：這里主要指對話機(jī)器人 chatbot）在心理學(xué)方面表現(xiàn)非常出色，在實(shí)際勞動(dòng)中的靈活度幾乎為零。

Character.AI 就是一個(gè)很好的例子，現(xiàn)在出現(xiàn)了許多這類 AI-native 的行為，比如說在 Character.AI 上，你可以整天和一個(gè) Chatbot 聊天，有個(gè)特別好的問題就是“你以前都在做什么？”這樣你就可以弄清楚這個(gè) Chatbot 的實(shí)際用途，通常他們都花費(fèi)了大量時(shí)間在游戲或社交媒體上。

預(yù)測未來是非常困難的，就像當(dāng)初看到 iPhone 我們無法預(yù)見 Uber 的出現(xiàn)，或者看到互聯(lián)網(wǎng)無法預(yù)測到亞馬遜一樣。現(xiàn)在這些機(jī)器人通常是為消費(fèi)者體驗(yàn)而設(shè)計(jì)的，它們會成為真正具有顛覆性的事物，而企業(yè)也會獲得可觀的好處。相當(dāng)于我們以前雇傭的是一個(gè)人，現(xiàn)在則是一個(gè)能得到機(jī)器人協(xié)助的人（Person in a co-pilot model）。

我認(rèn)為如果 AI 技術(shù)給企業(yè)帶來顛覆，那很可能來自于一種全新的原生用戶體驗(yàn)。這類顛覆通常屬于 Clayton Christense 式的低端市場干擾，但 AI 可能帶來的影響規(guī)模要大得多。目前很多公司試圖利用 AI 完成高端法律工作，但模型在判斷和依據(jù)方面的不足也需要解決，而低端服務(wù)，如支付 500 美元詢問律師租賃相關(guān)問題，使用 AI 助手有可能更高效。總體來說，AI 很可能通過提供低成本的初級服務(wù)，對低端法律市場產(chǎn)生深遠(yuǎn)影響。

Ben Thompson：Disruption 最初是指從市場底端進(jìn)入的產(chǎn)品或服務(wù)，盡管質(zhì)量低下，但因?yàn)槌杀窘Y(jié)構(gòu)具有根本性的差異，可以以不同的方式進(jìn)行規(guī)模擴(kuò)張。典型的反例是連鎖經(jīng)濟(jì)型酒店和高端豪華酒店，它們之間的區(qū)別在于投入的資金數(shù)量，所以漢庭相比麗思卡爾頓并不是一種 disruption，只是更便宜罷了。

但像 AI 法律助手這種能夠無限擴(kuò)展、但又可能會比高端律師犯更多錯(cuò)誤的法律咨詢模式，是非常具有顛覆性的，因?yàn)樘峁└叨朔煞?wù)的人日常并不會涉及到簡單的法律咨詢服務(wù)，也會顧慮工作數(shù)量和交付質(zhì)量之間的平衡，但 AI 則可以。雖然可能會犯錯(cuò)誤，但它的使用量更大，更容易訪問，因此反饋和改進(jìn)的速度也更快，以至于時(shí)間久了，未來法律 GPT 可能會超過高端律師，而高端律師仍然會犯錯(cuò)誤，但到那時(shí)他們已經(jīng)束手無策，無法做出應(yīng)對。

Daniel Gross：是的，未來消費(fèi)者也許可以接受更高的失敗率、完全新的范式或者與以前完全不同的事物。然后樂觀來說，隨著技術(shù)成熟，我希望 AI 也能助益?zhèn)鹘y(tǒng)企業(yè)，就像食鹽中的碘，自然融入，不易察覺。

目前許多文本密集型的公司可能被低估，因?yàn)閷⑽谋巨D(zhuǎn)化為產(chǎn)品難度比較大，可又無法根據(jù)企業(yè)處理文本量來進(jìn)行類似 S&P500 的排序，表明這類公司的重要性未得到充分認(rèn)識。如果能根據(jù)文本處理能力排名企業(yè)，可能會發(fā)現(xiàn)一些潛在值得投資對象。在一個(gè)信息可自由合成的世界里，文本能力實(shí)際上是一個(gè)重要的相關(guān)指標(biāo)。

Ben Thompson：就像你提到的案例一樣?；蛘呶覀兿胂笠患医ㄖ?，如果你能夠比同行低成本在全國范圍內(nèi)拿下所有項(xiàng)目，那將相當(dāng)顛覆。

Nat Friedman：當(dāng)然，另一方面也需要 LLM，因?yàn)槟切┦盏酵稑?biāo)的機(jī)構(gòu)從來沒有預(yù)料到他們現(xiàn)在能得到這么多的申請。

Ben Thompson：未來，這將是 AI 與 AI 的對話。

Nat Friedman：對的，目前我們很多機(jī)構(gòu)都受限于生成高質(zhì)量文本的難度，而技術(shù)進(jìn)步使我們能夠大規(guī)模地生成文本，這無疑是一個(gè)重大變化。

因此，我在思考的是，也許存在某種簡單的方法可以激活邏輯思維，因?yàn)槿绻辉诨ヂ?lián)網(wǎng)上進(jìn)行訓(xùn)練是不能學(xué)會邏輯思考的，互聯(lián)網(wǎng)只是世上所有信息的一小部分。

Ben Thompson：你說得對。ChatGPT 發(fā)布 Plugin 架構(gòu)時(shí)我也分析過這個(gè)問題，我認(rèn)為目前它還在探索實(shí)現(xiàn)這一點(diǎn)的最佳方法。但從人類工作模式來看，我理解人腦工作方式與這類大模型廣義來說的工作機(jī)制沒有太大差異。我們在模型運(yùn)作中同樣利用大量預(yù)測能力，這也是我們神經(jīng)元之間自然交互的方式。

我們能做的是，利用計(jì)算機(jī)來做我們不擅長的事情，比如以極高的速度完成非常困難的數(shù)學(xué)難題。在某種程度上，LLM 并不是計(jì)算機(jī)的最終目標(biāo)，而是它能否以一種有意義的方式組織不同的計(jì)算活動(dòng)?；蛟S，更關(guān)鍵的是如何讓 AI 意識到它的局限性。

從這個(gè)角度，hallucination 是一種特性，而不是缺陷。創(chuàng)造力才是最吸引人的。最重要的不是修復(fù) hallucination，而是通過確定性計(jì)算機(jī)訓(xùn)練系統(tǒng)驗(yàn)證，以確保這些東西不會脫軌。

我好奇的是，沿著我們使用計(jì)算機(jī)的方式，LLM 也能夠同樣操作計(jì)算機(jī)嗎？

Nat Friedman：如果把機(jī)器學(xué)習(xí)分為 1.0 和 2.0 時(shí)代，目前我們正處于后者。ML 1.0 時(shí)代著重建立排序和推薦算法。而現(xiàn)在這個(gè)生成式 AI 時(shí)代，我們已經(jīng)淡忘了 ML1.0 時(shí)代的一些經(jīng)驗(yàn)教訓(xùn)之一就是：為訓(xùn)練做數(shù)據(jù)準(zhǔn)備工作需要耗費(fèi)十倍于建模工作的努力，因?yàn)閿?shù)據(jù)來源復(fù)雜，需要整合和清理。

這些大型 Transformer 架構(gòu)很擅長去噪和清洗數(shù)據(jù)。但是普遍來看，我們在數(shù)據(jù)方面工作還做得太少，比如數(shù)據(jù)準(zhǔn)備和處理等等。像 OpenAI 這樣最優(yōu)秀的公司可能已經(jīng)做了很多秘密的數(shù)據(jù)工作，而且數(shù)據(jù)本身就是一項(xiàng)可持續(xù)的資產(chǎn)。數(shù)據(jù)方面還有很大改進(jìn)空間，無論是獲取更好的數(shù)據(jù)還是對數(shù)據(jù)進(jìn)行清理，顯然你不想獲取一些低質(zhì)量的 tokens 用于模型的訓(xùn)練。

那么我們是否可以對數(shù)據(jù)進(jìn)行聚類，剔除差劣樣本，在數(shù)據(jù)清理工作上做得更好？此外，是否可以采取分級學(xué)習(xí)的方法，即順序和流程是否也很重要？

雖然目前存在很多真實(shí)問題，但總體來說，我對未來還持樂觀態(tài)度。我們可以嘗試的方法很多，模型規(guī)模將更大，同時(shí)還有很多數(shù)據(jù)來源尚未被充分利用，比如目前視頻數(shù)量恐怕已經(jīng)超過 1000 億，但在訓(xùn)練中使用的程度還不夠。如果能找到更好的方法來利用這些資源，可能會有很大幫助。

Nat Friedman：其實(shí) Whisper 就基于一百萬小時(shí)的 youtube 字幕文本做的訓(xùn)練，但這對海量的 video 內(nèi)容來說就是杯水車薪。AlphaZero 的自對弈學(xué)習(xí)（Self-play learning）也是一個(gè)值得研究的方法。我們是否可以采取類似于代碼解釋器的環(huán)境實(shí)現(xiàn)自我學(xué)習(xí)？這還需探索，我也不能確定?？傮w來說， 目前涌現(xiàn)的幾百來種想法中，一定會有新的有效思路，我們的技術(shù)一定會有長足的提升。

Daniel Gross：我們已經(jīng)轉(zhuǎn)換研究方向了，我過去主要研究的是強(qiáng)化學(xué)習(xí)（RL）和自對弈這兩個(gè)方向。RL 曾在多個(gè)領(lǐng)域都取得很好的進(jìn)展，如機(jī)器手操作、魔方、游戲等，但 2018-2019 年后，研究趨勢幾乎完全轉(zhuǎn)向不再深入研究 RL 本身。

因?yàn)?RL 模型難以控制，就像手指尖上平衡一根非常長的桿子，很小的錯(cuò)誤都可能讓它失控，所以研究方向轉(zhuǎn)到了 transformer 等模型，因?yàn)樗鼈儗υ愀獾挠?xùn)練數(shù)據(jù)和錯(cuò)誤更為堅(jiān)固穩(wěn)定，且擅長組織文本。但是除了預(yù)測下一個(gè) token 之外，它沒有自我構(gòu)建和自我學(xué)習(xí)的能力。所以實(shí)驗(yàn)室現(xiàn)在可能會重新采用曾經(jīng)拋棄的方法。

Ben Thompson：我認(rèn)為這更像是關(guān)于驗(yàn)證層而非生成層的課題?，F(xiàn)階段模型的生成能力已經(jīng)較強(qiáng)，但如何評估和確保其生成內(nèi)容的有效性和正確性還是一個(gè)重要問題，也許系統(tǒng)性強(qiáng)化學(xué)習(xí)是解決這個(gè)問題的一種方式。

Nat Friedman：從驗(yàn)證層面來看問題，確實(shí)提供了一種有效的方法來探索 AI 應(yīng)用領(lǐng)域。它尋找解決方法的搜索空間很大，但很容易驗(yàn)證解決方法是否可行。

Ben Thompson：這正是代碼的美妙之處不是嗎？行，或者不行，并沒有中間地帶，這正是很好的一個(gè) AI 應(yīng)用場景。

Nat Friedman：對的，因?yàn)榭梢栽谳^短時(shí)間內(nèi)通過測試來評判好壞，但找到正解卻非常困難，本質(zhì)上就是 AI 的完美應(yīng)用。

在開源領(lǐng)域就沒這么麻煩了，我們可以實(shí)現(xiàn)更深度的集成。我一直在考慮 Llama 2 的問題，覺得現(xiàn)在的配置可能被夸大其詞了。要使其在價(jià)格上與 GPT-3.5 相競爭，我認(rèn)為它應(yīng)該能在每小時(shí) 75 美分的 GPU 上處理每秒 100 個(gè) token。而高性能的 A100，也就是上一代 GPU，現(xiàn)在的成本是每小時(shí) 1.5 到 2 美元。我覺得很多人并沒有真正以 GPT-3.5 相似成本的方式來運(yùn)行 Llama 2，二者性能也不盡相同。不過，未來它肯定會得到優(yōu)化和改進(jìn)。很多人都喜歡使用和給 Llama 糾錯(cuò)，我真的認(rèn)為這為 AI 的可解釋性提供了一個(gè)很好的途徑，擁有這樣的模型確實(shí)是一大優(yōu)勢。

Ben Thompson：如果云端的成本持續(xù)降低，本地模型的存在是否還是必要的？

Daniel Gross：本地模型將肯定會成為云端的重要補(bǔ)充，比如，對于一些簡單任務(wù)，例如自動(dòng)補(bǔ)全詢問“法國的首都是什么”這些問題，完全可以在本地來完成。

即將發(fā)布的最新 iOS 版本中已經(jīng)實(shí)現(xiàn)了一個(gè)真正有效的自動(dòng)糾錯(cuò)功能。我相信這是一個(gè)亞秒級的 Transformer 模型，它可以實(shí)時(shí)響應(yīng)你在 iPhone 上的每一次鍵盤敲擊。這背后其實(shí)有一個(gè)感人的故事，這是一位蘋果公司的工程師傾注心血的成果，你可能永遠(yuǎn)也不會知道這位工程師是誰，他可能永遠(yuǎn)不會出現(xiàn)在某個(gè)主題演講中，我們也見不到他。我并不是想把這變成一個(gè)蘋果的廣告，但我認(rèn)為這就是他們可能會對待人工智能的方式。我覺得將來會有很多本地模型，它們偶爾會連接到云端的父模型，盡管這樣做會消耗更多的能源。本地模型會變得更加智能，但云模型也會保持一定的比例，并持續(xù)進(jìn)化。

Ben Thompson：而且更便宜。

Daniel Gross：是的，我有時(shí)會思考這樣一個(gè)抽象的問題：我認(rèn)為普通人每天大概需要 100 到 200 瓦特的能量，而普通的 iPhone 可能只需要四瓦特?；旧?，我作為一個(gè)生物計(jì)算機(jī)，每天消耗的能量大約是 20 臺 iPhone，或者說 40 臺 iPhone。我可以編程，我認(rèn)為我和 GPT-4 一樣好，有時(shí)甚至更好。所以，我確實(shí)想知道本地模型能達(dá)到多好的性能呢？因?yàn)閺哪芰肯牡慕嵌瓤矗覀兊闹悄茉谀硞€(gè)時(shí)候能在 iPhone 上運(yùn)行并不遙遠(yuǎn)。我們可能相差兩個(gè)數(shù)量級。我認(rèn)為，基于 4 瓦特工作的本地智能實(shí)際上可以走得很遠(yuǎn)，我們就是很好的例子。

Ben Thompson：我一直對商業(yè)模式及其產(chǎn)生的影響很感興趣，其中需要特別點(diǎn)出的是目前 AI 領(lǐng)域中的推理成本問題，這意味著實(shí)際的內(nèi)容生產(chǎn)并非零成本。回到面向消費(fèi)者的公司，如 Midjourney、Character.AI 和 ChatGPT，它們主要采取的是哪種商業(yè)模式？是訂閱制嗎？像 Microsoft 推出的每月 30 美元的 Copilot ，還有其他的企業(yè)級公司提供了各種各樣的附加服務(wù)，這在有明確成本的背景下都很合理。

再回到網(wǎng)絡(luò)，遍布全網(wǎng)的是那些免費(fèi)但充斥廣告的大公司。在一個(gè)幾乎零成本的環(huán)境中，這種模式非常有效。如果要運(yùn)營大數(shù)據(jù)中心的大公司如 Google 或 Facebook ，你需要大量投資，但對他們來說，這些成本在邊際上幾乎可以忽略。或許對 AI 而言，最大的問題是，這些公司是否會進(jìn)入到一個(gè)階段，即推理的邊際成本對他們來說幾乎可以忽略，從而創(chuàng)造出廣大用戶所認(rèn)可的產(chǎn)品？你認(rèn)為我們已經(jīng)在這條路上了嗎？

Nat Friedman：我覺得我們其實(shí)還沒有達(dá)到那個(gè)程度。我預(yù)測未來的趨勢是，現(xiàn)在被視為前沿技術(shù)的東西可能最終會被大眾化，但之后我們又會迎來新的前沿技術(shù)，它們需要更先進(jìn)的硬件支持，我們對技術(shù)的期望也會隨之提高。比如我認(rèn)為推理能力會是一個(gè)重要的發(fā)展方向。

我曾與 Daniel 討論過這個(gè)話題。Midjourney 能取得巨大成功，部分原因在于他們能夠擴(kuò)展其推理能力至很多的 GPU 上，利用那些未被充分利用的 GPU 進(jìn)行大量的推理工作。我覺得他們之所以能夠做到這一點(diǎn)，是因?yàn)樗麄兪堑谝粋€(gè)這么做的，如果現(xiàn)在有人想創(chuàng)建一個(gè)與 Midjourney 類似的平臺，他們需要付出比 Midjourney 更大的努力來獲取必要的推理資源。

實(shí)際上，我們注意到 Llama 2 正在推高 A100 的需求，那些希望在數(shù)據(jù)中心中使用 Llama 2 進(jìn)行推理的公司需要自己尋找 GPU。令人感到奇怪的是，盡管 A100 是三年前的產(chǎn)品，并且如 Daniel 所指出的，它屬于上一代技術(shù)，但它的需求仍然很高。Nvidia 在六到八周前已經(jīng)將 A100 的售價(jià)提高了 18%。然而現(xiàn)在，H100 已經(jīng)成為市場上的新寵。

Ben Thompson：一年前 Nvidia 還報(bào)廢了大量庫存，太不可思議了。

這些庫存其實(shí)是他們過去的積壓產(chǎn)品，同時(shí)也是 Nvidia 業(yè)績驚人的原因之一。關(guān)于 Nvidia 財(cái)報(bào)值得關(guān)注的一大問題是：GPU 市場會有何走勢？Nvidia 是否能維持其領(lǐng)導(dǎo)地位？無疑，Nvidia 目前在硬件和 CUDA 兩方面都占有優(yōu)勢，但競爭對手都在大力努力縮小這一差距，那么 Nvidia 能否維持領(lǐng)先地位呢？

Nat Friedman：接下來幾年將會是 Nvidia 和 Google TPU的天下。

TPU 對 Google 來說是一筆巨大的戰(zhàn)略資產(chǎn)。Google 是唯一一個(gè)擁有獨(dú)立的硬件加速器的公司，盡管在制造工廠（fabs）和供應(yīng)鏈的其他部分存在一些重疊，但它們不受其他公司（如 NVIDIA 的 CEO Jensen Huang）分配給它們的 H100 GPU 的限制。Google 可以自行分配 TPU 資源，而且據(jù)說他們正在以創(chuàng)紀(jì)錄的數(shù)量生產(chǎn) TPU v5。

Ben Thompson：你的意思是，對付 TSMC 比 Nvidia 更容易。

Nat Friedman：確實(shí)，至少沒有 Nvidia 的瓶頸問題。現(xiàn)在 Nvidia 有大量需求，但供應(yīng)卻非常有限，因此必須非常精細(xì)地分配 GPU 資源。這樣的中心化資源分配實(shí)在是令人難以置信。所以，即便有人說“AMD 的芯片會和 Nvidia 的一樣好”，但明年他們也無法生產(chǎn)出足夠的量。在我看來，在接下來的幾年里，僅有兩家主導(dǎo)公司，而市場將會受到供應(yīng)短缺的影響，特別是隨著更多 AI 應(yīng)用的崛起和對推理能力的需求增加，以及更多公司想要訓(xùn)練大模型。

Ben Thompson：那么問題是，現(xiàn)在是不是一個(gè)過熱的階段，幾年后我們回過頭來，會發(fā)現(xiàn)當(dāng)時(shí)生產(chǎn)和購買了過多的 GPU，導(dǎo)致市場供過于求？就像去年的 Nvidia，但規(guī)?？赡苁悄菚?100 倍或 1000 倍。不過這種過剩可能會對 AI 產(chǎn)生巨大推動(dòng)作用，因?yàn)橛辛?2023、2024 買的已經(jīng)折舊的 GPU，計(jì)算成本會降低很多，利用。一旦市場崩潰，那就好像回到了過去的互聯(lián)網(wǎng)泡沫，很多公司在大量鋪設(shè)光纖后迅速宣告破產(chǎn)。

Nat Friedman：那就產(chǎn)生了很多暗光纖（鋪設(shè)但未被使用的光纖）。所以供應(yīng)短缺之后到底會不會出現(xiàn)過剩呢？我認(rèn)為會的，而且對 scaling law 的堅(jiān)定信仰可能也是一個(gè)重要因素。本質(zhì)上，你投入的訓(xùn)練數(shù)據(jù)和浮點(diǎn)運(yùn)算越多，你將得到的模型就會越好，從 GPT-1 到 GPT-4 每次一個(gè)數(shù)量級的躍升都證明了這點(diǎn)，所以未來在 GPT-5 上我覺得也會看到。

未來可能只有少數(shù)實(shí)驗(yàn)室有能力承擔(dān)訓(xùn)練 GPT-5 或 GPT-6 等價(jià)模型的成本，而所有的初創(chuàng)公司，除非是做垂類小模型，否則就會被市場淘汰，從而形成“逃逸速度”（escape velocity）的現(xiàn)象?？赡軐腥募夜灸軌蜇?fù)擔(dān)得起訓(xùn)練 100 億美元的模型，而且這實(shí)際上是有限數(shù)量的 GPU。

Ben Thompson：你描述的基本就是現(xiàn)在 fabs（半導(dǎo)體晶圓廠）的情況，過去所有人都想產(chǎn)自己的芯片，但后來因?yàn)槌杀咎撸跃椭皇Ｏ乱粋€(gè)獨(dú)苗了。

Nat Friedman：按現(xiàn)在的趨勢發(fā)展，這可能也是我們的未來，因?yàn)槌杀咀兊锰吡?，要推出一個(gè)通用模型可能需要 1000 億美元的投資。我們的實(shí)際行動(dòng)也證明這點(diǎn)了。

Ben Thompson：有件我認(rèn)為是你們做過最瘋狂的事情之一，就是你們推出的 Andromeda GPU 集群。你們是如何考慮這件事的？

Nat Friedman：其實(shí)并不是每家創(chuàng)業(yè)公司都需要自己的 GPU 集群，確實(shí)存在不需自己訓(xùn)練模型就能做出好產(chǎn)品的好公司，他們一般都在使用 GPT-4 或 GPT-3。但對于某些 AI 公司，自己做訓(xùn)練才是關(guān)鍵。對于這些初創(chuàng)公司，因?yàn)橘Y金有限，是難以長期租用大規(guī)模集群的。

Ben Thompson： 90 年代那個(gè)需要先買電腦才能創(chuàng)業(yè)的時(shí)期加速前進(jìn)。因?yàn)樵?AWS 出現(xiàn)后，一切都變得唾手可得，門檻降低，所以試用階段和種子階段公司的數(shù)量增加了，而你是想通過私有和對外租賃的方式來）實(shí)現(xiàn)類似的效果？

Nat Friedman：是的，所以這就需要暫時(shí)進(jìn)行一段時(shí)間的擴(kuò)張?，F(xiàn)在基本每次剛有 H100 的貨，甚至還沒卸貨就已經(jīng)被預(yù)訂了三年的使用權(quán)，市場對 H100 的需求太大了。但如果你是一家只籌集了幾千萬美元的初創(chuàng)公司，只想擁有集群一個(gè)月的訪問權(quán)，沒人能給你提供這樣的服務(wù)，就像沒有人能給你提供預(yù)訂哈勃太空望遠(yuǎn)鏡的時(shí)間，什么“我們只需要用幾個(gè)小時(shí)”都不太可能。

我和 Daniel 前幾年一直在談?wù)撨@個(gè)問題，也一直在等待市場來解決這個(gè)問題。我聯(lián)系過 Satya、Google 和 Amazon，跟他們講這件事和“云”的本質(zhì)類似，讓企業(yè)可以租到一臺暫時(shí)還沒有能力購買的計(jì)算單元，但沒有人真的這么做。我們之前沒有公開談?wù)撨^這個(gè)問題，但大約五六個(gè)月前，我們采購了數(shù)百個(gè) GPU，我們承擔(dān)了風(fēng)險(xiǎn)，支付了費(fèi)用，然后在一個(gè)周五晚上把它們提供給了我們投資的初創(chuàng)公司，具體費(fèi)用大概達(dá)到了幾百萬美元。到了周六下午，這些 GPU 全部被三倍量超額預(yù)訂一空。

我們當(dāng)時(shí)突然發(fā)現(xiàn)我們運(yùn)營的是一個(gè)小型云，所以必須提高這件事的優(yōu)先級，后來這幾百個(gè) A-100 增加到一千多個(gè)，大概有六七百個(gè) A-100 時(shí)，我們決定要認(rèn)真起來，建立一個(gè)真正有競爭力的集群。因此，我們最終選擇與一個(gè)可信賴的供應(yīng)商合作，并通過招標(biāo)的方式建造了一個(gè)名為“Andromeda Cluster”的集群。這個(gè)集群由 2512 個(gè) H100 組成，彼此互聯(lián)，供我們投資的初創(chuàng)公司使用，就像一個(gè)封閉的云花園（walled garden cloud）。

Daniel Gross：Andromeda 在 超算 TOP500 排行榜上排名多少？

Nat Friedman：我暫時(shí)不知道，可能在兩位數(shù)之內(nèi)吧。如果你用 FP8 和 Sparsity 進(jìn)行訓(xùn)練，那就是大約 10 exoflops（每秒執(zhí)行十萬億次浮點(diǎn)運(yùn)算），是一臺大型超級計(jì)算機(jī)。

這些 GPU 的真正的用途是培養(yǎng)特定領(lǐng)域，如視頻、生物學(xué)或語音等的基礎(chǔ)模型，或者說，是產(chǎn)品模型。現(xiàn)在很多人都在使用這些大型基礎(chǔ)模型，但他們需要產(chǎn)品模型來整合自己正在開發(fā)的產(chǎn)品。這是一個(gè)巨大的機(jī)會，我們在這方面也有滿滿的規(guī)劃。時(shí)間會告訴我們答案，但我們真的很想嘗試，這會非常有意思。

Daniel Gross：市場還是不夠完善，很多初創(chuàng)公司由于沒有足夠的計(jì)算資源而無法開發(fā)一個(gè)能吸引更多投資的模型，這就造成了不平等。即使你技術(shù)過硬，也難以進(jìn)入這個(gè)領(lǐng)域。使用 Andromeda 的公司可能并不把它作為最終目標(biāo)，但它就像一個(gè)披薩烤箱，你把原材料和面團(tuán)放進(jìn)去，就能烤出美味的披薩，最終，也許有一天他們會開設(shè)自己的披薩店，這就是我們的愿景。

Nat Friedman：對于初創(chuàng)公司，只需要籌集 2000 萬美元，就可以像有 2 億美元那樣使用資源一段時(shí)間。的進(jìn)展會更快，資金使用效率也更高。有些公司可能募了數(shù)億美元，但如果他們有這樣的資源，我們只需投資其中的 20%-25%，也能得到相同的成果。投資資金也可以更好地利用。

創(chuàng)業(yè)企業(yè)他們只需為我們提供的服務(wù)支付費(fèi)用，雖然我們并不打算從 Andromeda 上獲利，但這件事的發(fā)展比我們預(yù)期的更復(fù)雜和有趣，迄今為止，這算是一個(gè)非常成功的嘗試。我們希望不僅能幫助與我們合作的企業(yè)，還能吸引那些尚未了解我們的初創(chuàng)公司。但遺憾的是，其他 VC 也開始效仿，加劇了對 GPU 的需求。

Ben Thompson：你們第一次推出 AI Grant 時(shí)是在主動(dòng)找到 AI 領(lǐng)域的初創(chuàng)公司，到了第二次整個(gè)領(lǐng)域已經(jīng)大爆炸了，如何保證持續(xù)篩出來哪些是真正的好公司？AI Grant 會發(fā)生什么變化？

Nat Friedman：是的，好消息是有更多的公司，有更多的高質(zhì)量的創(chuàng)始人。壞消息是你不得不篩選出很多工作。這次我們有數(shù)以千計(jì)的申請，所以我們需要對所有申請進(jìn)行審查。

Daniel Gross：當(dāng)我和 Nat 在 2017 年首次推出 AI Grant 時(shí)，主要是為了給研究者提供資金支持，那時(shí) AI 研究還少，也還沒有出現(xiàn) Transformer。但當(dāng)我們考慮再次啟動(dòng) AI Grant 時(shí)，情況已經(jīng)大不相同，AI 研究人員能拿到數(shù)百萬美元的報(bào)酬，并不需要我們提供小額撥款。但確實(shí)還有一個(gè)問題有待解決，那就是會做 AI 產(chǎn)品的人才還很短缺，這里說的產(chǎn)品不僅僅是給 GPT 加個(gè)界面這么簡單，而是能真正做一個(gè)公司。

因此，我們重新啟動(dòng)了這個(gè)計(jì)劃，形式類似于撥款，我們提供了幾乎是無上限的 SAFE 協(xié)議，并且提供了一筆數(shù)目不小的資金，而得到支持的公司最終也表現(xiàn)不錯(cuò)。到第二輪時(shí)，市場再次做出了響應(yīng)，出現(xiàn)了大量不錯(cuò)的 AI 產(chǎn)品。

Ben Thompson：那么 AI Grant 在今天的意義和作用又是什么？

Daniel Gross：我覺得 AI Grant  依舊是有必要的，因?yàn)樗尯芏鄤?chuàng)始人有機(jī)會實(shí)現(xiàn)自己的追求。這個(gè)項(xiàng)目一方面和大家預(yù)想的一樣，可以幫助創(chuàng)始人互相認(rèn)識，在圈子里建立人脈。而另一方面，我認(rèn)為只有現(xiàn)在回顧多年來運(yùn)營這些項(xiàng)目時(shí)才能理解，那就是讓那些原本覺得自己不適合創(chuàng)業(yè)的“圈外人”，也有機(jī)會參與進(jìn)來。這也是 Silicon Valley 的一大優(yōu)勢，不僅僅是 AI Grant，還有 Y Combinator 和其他許多 AI 加速器和創(chuàng)業(yè)孵化器的最大價(jià)值。

我們更傾向于那些與眾不同的、不符合傳統(tǒng)標(biāo)準(zhǔn)的人，他們會有不同的想法和視角。而大家都追捧的“紅人”其他 VC 也會投，所以并不是我們關(guān)注的對象。