最近DeepSeek由于受到大量DDOS攻擊,加上訪問過熱,總是會出現服務器繁忙、無法加載的情況,于是乎我測試在本地電腦部署DeepSeek R1模型,居然測試成功了,而且速度并不比APP慢。
下面會講到部署本地LLM(大模型)需要的軟件,以及相應的電腦配置,這里以DeepSeeK R1各種版本為例。
我選擇了Ollama作為本地運行LLM的工具,這是一個非常出名的開源軟件,Github上有12萬Star,主要用來在本地電腦設備下載、部署和使用LLM。
Ollama提供了豐富的LLM庫用于下載,比如llama、qwen、mistral以及這次要使用的deepseek r1,而且有不同的參數規模用于選擇,適配不同性能的電腦設備。
Ollama雖然支持直接使用LLM,但是僅能在命令行來對話,交互功能不盡人意,所以我會使用Cherry-studio來作為前端交互,以Ollama作為后臺,來和LLM對話,這就和日常使用的DeepSeek APP類似了。
Ollama交互界面:
Cherry-studio交互界面:
很多人擔心在本地部署DeepSeek R1,是不是對電腦性能有很高要求,比如CPU、GPU、內存等。
其實不用擔心,不同參數規模的模型對電腦性能要求不一樣,部署DeepSeek R1 8B規模以下的模型不需要獨顯也可以運行。
我部署的是7B模型,電腦系統windows 11,配置CPU Intel(R) Core(TM) i7-12650H 2.30 GHz,內存16GB,沒有獨顯。
這里科普下,LLM參數規模是指什么,所謂7B是指該模型大約有 70 億(7 Billion)個參數,參數代表里模型訓練過程中需要學習的數值,參數越多,模型能夠理解更復雜的信息,給出的回答也越準確和全面。
以下是基本的要求,可以對號入座。
R1模型版本 | CPU | GPU | 內存 | 存儲 |
---|---|---|---|---|
1.5B | Intel Core i5/AMD Ryzen 5 及以上 | 無強制要求,有 1GB 及以上顯存可提升性能 | 最低 8GB,推薦 16GB+ | 至少 10GB,建議留更多緩存空間 |
7B | Intel Core i7/AMD Ryzen 7 及以上 | 無強制要求,有 4GB 以上顯存更好,推薦 8 - 12GB | 最低 16GB,推薦 32GB+ | 至少 12GB,建議 30GB+ |
8B | Intel Core i7/AMD Ryzen 7 及以上 | 無強制要求,有 4.5GB 以上顯存更好,推薦 8GB+ | 最低 16GB,推薦 32GB+ | 至少 12GB,建議 30GB+ |
14B | Intel Core i9/AMD Ryzen 9 及以上 | 8GB 以上,推薦 12GB+,如 RTX 3080 及以上 | 最低 32GB,推薦 64GB | 至少 15GB,建議 50GB+ |
32B | 高端多核,強多線程處理能力 | 18GB 左右,建議 24GB+,如 NVIDIA A100 | 32GB+,推薦 64GB+ | 至少 20GB,建議 80GB+ |
70B | 服務器級 CPU,如 Intel Xeon 系列 | 40GB 以上,如 NVIDIA H100 | 64GB+,推薦 128GB+ | 至少 30GB,建議 200GB+ |
清楚剛剛提到的相關軟件和電腦配置后,就可以開始在本地部署DeepSeek R1了。