機器之心編輯部
眼下 OpenAI 面臨的最大問題是「缺芯」。
從 ChatGPT 問世以來，大模型和 AI 技術就引起全世界的廣泛關注。一方面，人們驚嘆于大模型的涌現能力，另一方面又對人工智能的可控性及未來發展產生擔憂。今年已有包括圖靈獎得主 Geoffrey Hinton、Yoshua Bengio 在內的 AI 領域專家等眾多業內人士多次聯合警告 AI 大模型將引發一系列風險，甚至有人呼吁叫停 GPT-4 后續 AI 大模型的研發。
OpenAI 作為 ChatGPT、GPT-4 等大模型背后的公司，無疑被推上了風口浪尖。OpenAI 的 CEO Sam Altman 近期正在全球巡回演講，旨在消除人們對人工智能的「恐懼」，并聽取 OpenAI 產品的開發人員和用戶的意見。
據《Fortune》報道，5 月 Sam Altman 與一些開發人員和初創公司創始人閉門會面，并講述了 OpenAI 的路線圖和面臨的挑戰。這場閉門會的參與者之一 ——Humanloop 的聯合創始人兼 CEO Raza Habib 最近在一篇博客中提及了 OpenAI 的產品規劃和發展瓶頸。
原博客現已刪除，但有網友上傳了博客快照（副本），我們來看一下博客的具體內容：
OpenAI 現在面臨的最大問題是受限于 GPU
目前 OpenAI 面臨非常嚴峻的 GPU 限制，這也延遲了他們一些短期計劃的實施。近來，客戶投訴最多的是關于 API 的可靠性和速度問題。Sam 承認了這個問題，并解釋說客戶抱怨的大部分問題是由于 GPU 短缺造成的。
在處理文本方面，更長的 32k 上下文還不能面向更多人推出。現在 OpenAI 還沒有完全克服注意力機制的 O (n^2) 擴展問題，雖然 OpenAI 似乎很快就能實現 100k-1M token 上下文窗口（在今年內）文本處理，但更大的文本處理窗口需要進一步的研究突破。
不僅如此，目前，微調 API 也受到 GPU 供應的限制。OpenAI 尚未使用像 Adapters 或 LoRa 這樣的高效微調方法，因此微調運行和管理起來計算都非常密集。Sam 透漏更好的微調技術將在未來推出，他們甚至可能提供一個社區專門研究模型。
此外，專用容量提供也受到 GPU 供應的限制。OpenAI 還提供專用容量，為客戶提供一個私有的模型副本。要使用此服務，客戶必須愿意預先承諾支出 10 萬美元。
OpenAI 的近期路線圖
在交談中，Sam 分享了 OpenAI API 的近期路線圖，主要分兩個階段：
2023 的路線：
OpenAI 的首要任務是推出更便宜、更快的 GPT-4—— 總的來說，OpenAI 的目標是盡可能地降低智能成本（the cost of intelligence），因此隨著時間的推移，API 的成本將會降低。
更長的上下文窗口 —— 在不久的將來，上下文窗口可能高達 100 萬個 token。
微調 API—— 微調 API 將擴展到最新的模型，但其確切形式將由開發人員決定。
狀態 API—— 現在調用聊天 API 時，你必須反復地通過相同的會話歷史，并一次又一次地為相同的 toke 進行支付。將來版本的 API 可以記住會話歷史記錄。
2024 年路線：
多模態 —— 這是作為 GPT-4 版本的一部分進行演示的，但在更多 GPU 上線之前不能擴展到所有人。
插件沒有 PMF，也不會很快出現在 API 中
很多開發人員都對通過 API 訪問 ChatGPT 插件感興趣，但 Sam 說他認為這些插件短期內不會發布。除了瀏覽之外，插件的使用表明他們還沒有 PMF。Sam 指出，很多人希望自己的應用程序位于 ChatGPT 之內，但他們真正想要的是應用程序中的 ChatGPT。
除了與類 ChatGPT 競爭外，OpenAI 將避免與其客戶競爭
很多開發者表示，當 OpenAI 發布新產品時，他們對使用 OpenAI API 構建的應用程序感到緊張，因為 OpenAI 最終可能會發布與他們競爭的產品。Sam 表示 OpenAI 不會發布 ChatGPT 之外更多的產品。他說有很多偉大的平臺公司都有一個殺手級的應用程序，ChatGPT 將允許他們通過成為自己產品的客戶來使 API 更好。ChatGPT 的愿景是成為一個超級智能的工作助手，但 OpenAI 不會涉足許多其他 GPT 的用例。
監管是必要的，但開源也是必要的
盡管 Sam 主張對未來的模型進行監管，但他并不認為現有的模型存在危險，并認為對它們進行監管或禁止將是一個巨大的錯誤。他再次強調了開源的重要性，并表示 OpenAI 正在考慮開源 GPT-3。OpenAI 之所以遲遲未能開源的部分原是因為他們覺得沒多少人和公司有能力妥善管理如此大型的語言模型。
擴展定律仍然存在
最近許多文章都聲稱「巨型人工智能模型的時代已經結束」。Sam 表示這并沒有準確地表達他的意思。
OpenAI 的內部數據顯示，擴展定律仍然成立，而且增大模型的規模將繼續提高性能。然而，模型的規模無法一直按照相同的比例增加，因為在短短幾年內，OpenAI 已經使模型規模增大了數百萬倍，繼續這樣做將不可持續。但這并不意味著 OpenAI 將停止努力使模型變得更大，而是意味著它們可能每年增加一倍或三倍的規模，而不是呈幾個數量級的增長。
擴展模型仍然有效，這一事實對 AGI 的發展具有重要意義。擴展規模的理念是，我們可能已經有構建 AGI 所需的大部分要素，而剩下的大部分工作將采用現有的方法，并將它們擴展到更大的模型和更大的數據集上。如果模型擴展時代已經結束，我們到達 AGI 的時間將會更久。擴展定律仍然適用的事實暗示著我們會用更短的時間實現 AGI。
參考鏈接：
https://web./web/20230601000258/https://website-nm4keew22-humanloopml.vercel.app/blog/openai-plans
