大型語言模型如GPT-4,Google Bard等正在引領新一輪的技術革新。這些模型在許多任務中都表現(xiàn)出強大的性能,包括文本生成,情感分析,文本理解等。然而,使用這些大型語言模型往往需要聯(lián)網(wǎng)訪問,依賴于強大的GPU計算能力,且成本高昂,這給普通用戶和小型開發(fā)團隊帶來了巨大的挑戰(zhàn)。
為此,NomicAI推出了GPT4All這款軟件,它是一款可以在本地運行各種開源大語言模型的軟件,即使只有CPU也可以運行目前最強大的開源模型。GPT4All將大型語言模型的強大能力帶到普通用戶的電腦上,無需聯(lián)網(wǎng),無需昂貴的硬件,只需幾個簡單的步驟,你就可以使用當前業(yè)界最強大的開源模型。
總結一下,GPT4All的特點如下:
多系統(tǒng)支持,目前可以在Windows、Mac/OSX以及Ubuntu上直接安裝使用哦~
本地運行,無需聯(lián)網(wǎng)
支持CPU運行,即使是老的只包含AVX指令集的CPU都可以
方便使用,它有一個非常友好的用戶界面,讓加載模型和使用的很方便
支持各種模型:目前已經(jīng)支持13款開源模型和基于OpenAI APIkey的方式使用GPT-3.5和GPT-4(這個需要聯(lián)網(wǎng))
在接下來的文章中,我們將深入探討GPT4All的優(yōu)點,如何使用它,以及它支持哪些模型,由于官方的模型下載比較慢,本文也提供了下載鏈接,大家可以直接使用表格中提供的鏈接用下載工具下載即可,更加方便。
GPT4All的發(fā)展歷史和簡介
GPT4All:一個本地運行“ChatGPT-Like”模型的軟件
GPT4All支持的模型
GPT4All的總結
2023年3月29日,NomicAI公司宣布了GPT4All模型。此時,GPT4All還是一個大語言模型。如今,隨著NomicAI運營思路的轉變,GPT4All已經(jīng)是一個專注于在本地運行開源模型的軟件了。
如下圖所示:
GPT4All在DataLearner上的模型卡信息:https://www.datalearner.com/ai-models/pretrained-models/GPT4All
NomicAI發(fā)布的所有模型:
3月底才發(fā)布的時候,GPT4All還是基于MetaAI開源的LLaMA微調(diào)得到的大模型。其最大的特點是開源,并且其4-bit量化版本可以在CPU上運行!同時,因為NomicAI精心挑選了80萬的 prompt-response對進行微調(diào)訓練,因此其效果十分好!
此后,NomicAI分別發(fā)布了5個相關的模型:
上述五個模型中,基于GPL的都是來自MetaAI開源LLaMA模型微調(diào)的結果,不可商用的模型,且開源要求高。而剩余2個則是可以商用的。
4月13日,NomicAI官宣GPT4All-J,這是一個可以在本地運行的大語言模型,但是是基于GPT-J微調(diào)的結果。由于GPT-J是EleutherAI公司自己訓練的模型,開源協(xié)議友好,因此GPT4All-J變成了一個完全開源可商用的模型。
同時發(fā)布的還有一個可以在本地安裝的軟件包。這就是我們今天介紹的主角:GPT4All。
GPT4All現(xiàn)在已經(jīng)是一個完全獨立的安裝軟件,支持Windows、Mac/OSX和Ubuntu三個系統(tǒng)。直接下載安裝之后就可以得到如下界面:
可以看到,里面提供了很多的開源可商用的模型給大家使用,大家按需下載之后選擇即可。當然,也支持OpenAI的API Key來使用GPT-3.5和GPT-4。接下來就是一個聊天框了,可以根據(jù)需要選擇不同的模型進行對話:
這就是我測試的結果,不過中文這“口”不知道是訓練數(shù)據(jù)出了問題還是軟件有bug……
GPT4All軟件有很多優(yōu)點,其中最突出的幾個特點是:
多系統(tǒng)支持,目前可以在Windows、Mac/OSX以及Ubuntu上直接安裝使用哦~
本地運行,無需聯(lián)網(wǎng)
支持CPU運行,即使是老的只包含AVX指令集的CPU都可以
方便使用,它有一個非常友好的用戶界面,讓加載模型和使用的很方便
支持各種模型:目前已經(jīng)支持13款開源模型和基于OpenAI APIkey的方式使用GPT-3.5和GPT-4(這個需要聯(lián)網(wǎng))
GPT4All官方提供了很多可以下載后直接使用的二進制模型,不過,通過這個軟件下載的話,模型可能比較慢,建議大家可以獲得真實地址采用其它方式下載到指定的位置后重啟GPT4All即可。我們這里已經(jīng)列舉出了GPT4All支持的所有的模型以及是否可以商用的結果。
注意,這部分模型實際下載地址見原文。
顯然,開源模型中,如果是基于MetaAI開源的LLaMA進行微調(diào),那都是不可以商用的。這是因為MetaAI本身的限制。
盡管AI大模型的發(fā)展很快,ChatGPT的強大能力已經(jīng)讓很多人感到AI帶來的變化。不過,目前商業(yè)化較高的AI大模型基本都是需要聯(lián)網(wǎng)或者賬號才能使用,這對于普通用戶來說很不方便。尤其是對于國內(nèi)的我們來說,更是難上加難。而開源的模型雖然豐富,但是如果不會計算機想要使用也不太容易。而GPT4All提供的解決方案基本上讓所有普通用戶都可以感受到開源大模型帶來的方便。
因此,作為一個普通的對于目前的大模型使用感到困難,但是依然希望可以體驗的童鞋來說,GPT4All是一個十分不錯的方案。而對于隱私敏感的用戶來說,這種方法也是一種不錯的解決思路。而且隨著開源模型的發(fā)展,相信它的能力也會越來越強的!
GPT4All的官方地址:https://gpt4all.io/index.html