1、獨(dú)立顯卡,6G及以上
2、主板支持虛擬化
3、windows系統(tǒng)或者mac
4、windows系統(tǒng)默認(rèn)安裝大模型在c盤(pán),磁盤(pán)剩余空間至少10G以上(后面會(huì)有修改存儲(chǔ)路徑的方法)
5、windows安裝powershell(建議安裝,也可以不安裝)
1、安裝git git-scm.com/downloads 安裝后,運(yùn)行cmd,執(zhí)行g(shù)it -v,返回版本信息,則證明安裝成功
2、開(kāi)啟虛擬化
開(kāi)啟后,重啟電腦以便生效。
3、安裝docker www.docker.com/products/do…
下載后雙擊安裝docker
4、安裝ollama ollama.com/download
安裝完后運(yùn)行,打開(kāi)瀏覽器訪問(wèn)測(cè)試頁(yè)面: http://127.0.0.1:11434/
顯示“Ollama is running”
5、克隆github上的項(xiàng)目 創(chuàng)建一個(gè)目錄,例如G:\damoxing,進(jìn)入目錄,點(diǎn)擊右鍵“在終端打開(kāi)” 以管理員身份打開(kāi)cmd執(zhí)行命令:git clone github.com/open-webui/…
6、啟動(dòng)容器
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-
webui:main
7、下載模型 打開(kāi)gemma站點(diǎn),選擇models
8、打開(kāi)頁(yè)面,注冊(cè)、登錄 打開(kāi)鏈接:http://localhost:3000/auth
9、其它一些設(shè)置 登錄后,點(diǎn)擊左下角選擇settings,可以根據(jù)自己的需求修改。
10、測(cè)試
在最上端選擇模型后就可以對(duì)話了。
“你們抓周樹(shù)人關(guān)我魯迅什么事?”這句話是什么意思
可以看出中文方面還是很拉胯的,不如國(guó)內(nèi)做得好。
如果你的c盤(pán)目錄不夠大,可以執(zhí)行以下步驟
1、退出正在占用C:\Users\Administrator.ollama\models\blobs\目錄的程序,這里是docker和ollama
2、將C:\Users\Administrator.ollama\models\blobs\目錄重命名,例如改成blobs_bak
3、以管理員身份運(yùn)行cmd
4、執(zhí)行以下命令
# 切換到指定目錄
cd C:\Users\Administrator\.ollama\models
# 創(chuàng)建目錄符號(hào)鏈接
mklink /D blobs\ F:\ollamacache
# 注:切換到指定目錄的原因是直接執(zhí)行創(chuàng)建目錄符號(hào)鏈接時(shí)報(bào)錯(cuò)“系統(tǒng)找不到指定的路徑。”(猜測(cè)原因是因?yàn)楹须[藏目錄)
5、將C:\Users\Administrator.ollama\models\blobs\目錄下的模型數(shù)據(jù),復(fù)制到新的目錄F:\ollamacache下【一定不要忘記】
6、啟動(dòng)ollama和docker,可以正常啟動(dòng),且能找到已經(jīng)安裝過(guò)的模型,則證明創(chuàng)作成功。
7、測(cè)試:下載新的模型,c盤(pán)存儲(chǔ)沒(méi)有增加,而是存儲(chǔ)到了F:\ollamacache目錄下,且能夠正常使用。
8、最后,刪除備份的數(shù)據(jù)blobs_bak
大模型時(shí)代,火爆出圈的LLM大模型讓程序員們開(kāi)始重新評(píng)估自己的本領(lǐng)。 “AI會(huì)取代那些行業(yè)
?”“誰(shuí)的飯碗又將不保了?
”等問(wèn)題熱議不斷。
事實(shí)上,搶你飯碗的不是AI,而是會(huì)利用AI的人。
繼科大訊飛、阿里、華為
等巨頭公司發(fā)布AI產(chǎn)品后,很多中小企業(yè)也陸續(xù)進(jìn)場(chǎng)!超高年薪,挖掘AI大模型人才! 如今大廠老板們,也更傾向于會(huì)AI的人,普通程序員,還有應(yīng)對(duì)的機(jī)會(huì)嗎?
?
聯(lián)系客服