DeepSeek這把火燒遍了全球,昨天看還是霸榜30多個國家的App下載榜單第一名,現在已經上升到包括美國、日本、加拿大等在內的164個國家的App下載榜單第一名!
這巨大的流量導致deepseek在昨天幾乎崩潰了,這是我在昨天使用deepseek的情況,時不時就會遇到下面這個回復。
所以我就在想,既然deepseek R1是開源的,直接本地部署使用吧。
而且本地部署大模型之后,沒有各種限制,可以為所欲為,放飛自我,自給自足,隱私性拉滿,不聯網也可以用~
我們還是用之前講過的ollama + open-webui來一鍵部署deepseek r1
這倆好搭檔非常之牛掰且好用,看他倆在Github的Star就知道了。
用ollama管理、運行deepseek,在open-webui接入ollama之后,我們就可以完全界面化去下載安裝deepseek r1,界面化給大模型調整參數,并設定預設prompt,以及對話(如下圖),非常方便。
好了,話不多說,我們開始本地部署deepseek r1!
一、先安裝ollama和open-webui
首先就得安裝ollama和open-webui,ollama可以下載官方的exe文件,一鍵安裝,open-webui可docker部署,不清楚的朋友可以先看我之前寫的這篇文章先把ollama和open-webui部署好
部署ollama、open-webui
袋鼠帝,公眾號:袋鼠帝AI客棧獨家!開源AI接入微信【一】ollama + open-webui
但是注意,英偉達GPU的朋友請用如下指令部署open-webui(指令在控制臺輸入,前提是先安裝、啟動了docker-desktop):
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
Docker-desktop墻烈推薦大家都裝上,不僅是open-webui,其他絕大多數Github的開源項目都支持用docker一鍵部署,docker的好處是自帶虛擬環境,不需要在本地額外安裝一堆其他環境、依賴等,是管理、部署項目的神器。
open-webui也強烈推薦大家安裝使用,它應該是目前功能最全,最好用的大模型webui工具。
安裝完ollama和open-webui,并在open-webui接入本地ollama之后,就可以非常方便的一鍵安裝deepseek r1使用了~
二、本地部署DeepSeek R1
首先我們打開ollama官網,找到deepseek r1模型
ollama地址:https://ollama.com/library/deepseek-r1:8b
可以看到有這么些模型,以及模型的參數大小(1.5b~671b)和本身所需磁盤空間的大小(1.1G~404G)
671b參數,404G大小的這個deepseek r1模型,就是deepseek官網上的那個R1。
但是671b參數的大模型所需的算力驚人,不是我們普通人能玩兒的起的。
下圖是ollama給出的模型選擇建議
這里的RAM是指顯存
如何查看我們電腦的顯存大小呢?
Ctrl + Shift + Esc打開任務管理器->性能->GPU
可以看到,我的電腦顯存是8G(英偉達3060 ti)
經過測試,deepseek-r1:8b對我的電腦來說,運行流暢,體驗最好~
如果換成deepseek-r1:14b,勉強能用,但是比較慢,不流暢,體驗欠佳。
所以接下來我們瀏覽器訪問open-webui的頁面去下載deepseek-r1:8b
如果安裝好open-webui,直接訪問:http://127.0.0.1:3000/ 即可進入open-webui頁面。
我們進入open-webui之后,點擊 左下角用戶->設置
點擊 管理員設置