莆田版GPT-3開源：同等復現預訓練模型GPT Neo，可在Colab上完成微調
【新智元導讀】 GPT-3開源了？Eleuther AI推出的名為GPT-Neo的開源項目：公開發布的GPT-3同等復現預訓練模型(1.3B & 2.7B)，可在Colab上完成微調。
近日，Eleuther AI在GitHub上推出了一個名為GPT-Neo的開源項目：GPT-3同等復現預訓練模型(1.3B & 2.7B)，并可在Colab上完成微調。雖然GPT-Neo與真正的GPT-3比，參數量仍然很?。ㄝ^大版本也只與GPT-3最小模型的參數量），但開源又免費，仍然得到了「同性好友們」的認可！項目目前在GitHub上已經得到了近3k的star。Eleuther AI也表示，未來會進一步開源10B版本和原始大小版本的GPT3模型參數。在Eleuther AI官網上，他們對GPT-Neo的描述是，「一系列基于變換器的語言模型的代碼名稱，這些模型的風格松散地圍繞著GPT架構，我們計劃對其進行訓練和開源。我們的主要目標是復制一個GPT-3大小的模型，并將其免費開源給公眾。」在這一過程中，我們將對替代架構和注意力類型進行實驗，發布任何中間模型，并在我們的博客上寫出任何發現。GPT-Neo模型是在Tensorflow-mesh中構建的，這將使他們能夠使用同步的模型和數據并行來擴展到GPT-3和更大的規模。據Eleuther AI稱，他們已經建立了大部分的模型，訓練了GPT-2大小的模型，并實施了幾個實驗性的架構。而他們接下來的步驟，將是正在努力完成GPT-2規模的模型復制。「到目前為止，2 們得到的單步訓練的最大模型是200B參數。」6月，OpenAI發表了一篇論文，詳細介紹了GPT-3，這是一個機器學習模型，在一些自然語言基準上取得了強大的效果。在1750億個參數——模型從歷史訓練數據中學習的部分——它是同類模型中最大的模型之一，也是最復雜的模型之一，能夠進行原始類比，以某種風格寫作，甚至完成基本代碼。與GPT-3的前身GPT-2和GPT-1相比，OpenAI選擇不將模型或訓練數據集開源，而是選擇通過商業API提供前者。該公司選擇將GPT-3獨家授權給微軟，進一步縮減了訪問權限，而OpenAI與微軟有業務關系。微軟已經向OpenAI投資了10億美元，并建立了一臺Azure托管的超級計算機，旨在進一步推動OpenAI的研究。自由探索Explore版 （我等）:可以免費使用3個月，或者10萬token，哪個先到按哪個算，占著不用可不行。Create版（普通用戶）: 100美元一個月，200萬token每月，超出的部分1k token按8美分計算；Build版（VIP）: 400美元一個月，1000萬token每月，超出的部分1k token按6美分計算；Scale版（尊享版）：如果你是也就是生產級的大規模用戶，聯系官方就好，有專人服務。這個200萬token，能有多少字呢？大約相當于3000頁的文本。這樣說可能還是不直接，舉個例子，莎士比亞全集是大約有90萬個單詞，折算到token的話大概能有120萬。現在，一些人開始在開源中重新創建GPT-3，但可能目前最值得期待的就是GPT-Neo了。Eleuther AI是一個由研究人員組成的草根集合，致力于開源人工智能研究。Connor Leahy，Leo Gao和Sid Black三人聯合創立，于去年11月宣布推出GPT-Neo的開源項目，該項目基于GPT系列的設計原理，旨在復現GPT系列的各種項目。「據我所知，他們正在大肆宣傳他們無法兌現的夸大其詞?！?/section> 「例如，他們在OpenAI宣布幾天后就運出了一個DALL-E repo，這是壞的，而且由于他們的架構不能擴展，他們已經把他們的GPT-3復制宣稱走回了復制1.5B。」項目地址：https://github.com/EleutherAI/gpt-neo
本站僅提供存儲服務，所有內容均由用戶發布，如發現有害或侵權內容，請
點擊舉報。
