Stability AI進軍編程領域，發布首個用于代碼生成的大語言模型
Stability AI 近日宣布了他們首個用于編程的生成式 LLM AI 產品 ——StableCode。該產品旨在幫助程序員完成日常工作，并為新手開發者提供實用的學習工具。官方介紹道，StableCode 提供了一種獨特的方式，通過使用三種不同的模型來幫助開發者編寫代碼，從而提示開發效率。基礎模型 (base model) 首先使用來自 BigCode stack-dataset (v1.2) 的多種編程語言進行訓練，然后使用 Python、Go、Java、Javascript、C、markdown 和 C++ 等流行語言進行進一步訓練。總的來說，他們在 HPC 集群上使用 560B token 的代碼訓練了模型。建立好基礎模型后，Stability AI 針對特定用例調整指令模型 (instruction model)，以幫助解決復雜的編程任務。為了實現這一結果，他們在基礎模型上訓練了約 120,000 個 Alpaca 格式的代碼指令 / 響應對 (instruction/response)。使用 StableCode Instruct 生成對給定指令的響應的代碼對于那些想要了解更多編碼知識的開發者來說，StableCode 是理想的構建塊，而長上下文窗口模型 (long-context window model) 是確保用戶可以使用單行和多行自動完成建議的完美助手。該模型旨在一次處理更多代碼（比之前發布的具有 16,000 個 token 的上下文窗口的開放模型多 2-4 倍），允許用戶同時查看或編輯相當于最多 5 個平均大小的 Python 文件。使其成為初學者想要迎接更大挑戰的理想學習工具。StableCode 利用 Pytorch 深度學習庫完成一個相對復雜的 python 文件（灰色文本為 StableCode 的預測）
本站僅提供存儲服務，所有內容均由用戶發布，如發現有害或侵權內容，請
點擊舉報。
