最近很多朋友都在問:怎么本地部署 DeepSeek 搭建個人知識庫。
老實說,如果你不是為了研究技術,或者確實需要保護涉密數據,我真不建議去折騰本地部署。
為什么呢?
目前 Ollama 從 1.5B 到 70B 都只是把 R1 的推理能力提煉到 Qwen 和 Llama 的蒸餾版本上。
雖說性能是提升了不少,但跟原汁原味的 R1 模型比起來,還是差太多了。
官方的滿血版本可是 671B 的參數量,說實話,對普通人來說想本地部署,這成本確實太高了。
不過我最近發現了一個平臺,不僅能用上 R1 本 1,還提供了不少免費額度。
此外,為了讓擁有算力的朋友可以本地部署,我也提供了相關教程。
看完全文,你會收獲:
1、滿血 DeepSeek R1 模型 API 搭建方式
2、本地部署 DeepSeek R1 模型 搭建方式
來看幾個使用案例:如何借助 個人知識庫文件 作為外腦,用方法論指導我們正確做事?
DeepSeek 確實很好用,但關鍵還是會不會提問。如果不會提問,AI 再強也幫不上忙。
除了花時間學習提示詞,更快的方式是本地備一份提問指南,讓 AI 指導你該怎么正確提問,這樣才能真正發揮它的價值!
AI 借助知識庫內的 DeepSeek 指導手冊,預判了我可能想問的問題,以及建議的正確提示詞格式。
從回答中可以發現,AI 不是依據自身語料庫回復,而是基于知識庫內容回復。
當然,我們也可以直接提問,精準搜索知識庫的原始信息,從而達到快速查詢的效果。
如果本地數據不涉密,還想獲得最佳使用效果,那肯定得選滿血的 DeepSeek R1 模型。
我們來看看怎么利用 API 用上滿血的 R1 模型(671 B)。
1、先下載一個叫 Cherry Studio 的軟件。
地址: https://cherry-ai.com/download
2、登錄/注冊「硅基流動」,新用戶會贈送 2000 萬 Token 額度。
地址:https://cloud.siliconflow.cn/i/TAAOvaXg
3、來到 API 密鑰生成界面,創建或者復制已有的密鑰。
4、來到 Cherry Studio,配置 API Key。
5、在模型廣場首頁,排在前兩位的就是「硅基流動」和「華為云」合作發布的 DeepSeek R1 / V3 模型。
如果需要推理能力,記得打開并復制 R1 模型的名稱。
6、在模型服務的硅基流動下方,添加 R1 模型。
7、記得點擊檢查,測試下 API 是否可以正常訪問。
8、現在對話模型有了 R1,還缺少一個嵌入模型。
嵌入模型的主要作用是將本地文件的內容轉換成有意義的數字,存儲到向量數據庫中。
在用戶提問時,利用 RAG 技術在數據庫中搜索到相似答案,最終回復用戶。
過去我有通俗解釋過 RAG 技術,大家如果不了解,可以回頭看下:一文通俗講透 RAG 背后的邏輯,讓 AI 回答更精準!
我們再配置一個向量模型:BAAI/bge-m3。如果希望搜索的精準度更高,可以選擇 Pro/BAAI/bge-m3。
按照同樣的方式配置到 Cherry Studio 中,這里不需要點擊檢查。
9、在 Cherry Studio 創建知識庫,選擇剛才配置的嵌入模型,這樣就會自動利用對應的模型來向量化數據。
10、上傳本地文件進行向量化。
如果本地 PDF 文件是 掃描件、手寫件,或者帶有復雜的表格 和 數學公式,解析效果會很差,甚至無法解析。
遇到這種情況,建議配合過去我介紹的 PDF 轉結構化文檔 的方案來使用?。?!
這樣才可以正?;貜椭R庫的內容:免費AI神器!精準解析 PDF 還能一鍵翻譯!
如果追求性價比,推薦使用 Doc2x:https://doc2x.noedgeai.com?inviteCode=4A6KOD
如果希望更加穩定,那么可以考慮 Textin :https://www.textin.com/market/detail/pdf_to_markdown
當我們上傳文件后,箭頭指向的圖標如圖所示,則代表向量化成功。
11、測試使用,這一步添加助手,并選擇剛配置的 滿血 R1 模型。
如果不想每次在添加助手時選擇模型,可以將它設置為 默認模型。
我們來測試一下,發現 DeepSeek 已經開始深度思考了。
AI 回復的答案和原文一致。
原文內容:
如果只是想 簡單體驗,或者本地算力充足、希望保護數據安全,那么可以考慮 本地部署 的方案。
1、訪問 Ollama 官方地址:https://ollama.com/download,下載軟件。
建議下載最新版本 Ollama,個人踩坑經歷:舊版本安裝 R1 后可能無法正常使用。
2、雙擊運行 Ollama 后,打開命令行,運行需要安裝的模型(參數越大,顯存要求越高)。
地址:https://ollama.com/library/deepseek-r1
如果沒有 GPU,建議選擇 1.5B,運行相對輕量。我這 4G 顯存 勉強能跑 8B,但速度較慢。
有朋友用 RTX 4090 測試 32B,效果和速度都不錯。大家可以參考這個梯度,根據自己的硬件選擇合適的模型。。
下載并運行成功后,就可以和 DeepSeek R1 對話啦。
3、當然,我們可以用 Cherry Studio 作為本地 R1 模型的 UI 界面。
打開軟件的配置,選擇 Ollama,在管理按鈕中選擇自己部署的模型。
如果選不到,就手動添加模型,API 秘鑰填不填無所謂。
最后點擊檢查,測試下網絡連通性,出現連接成功即可。
接下來就可以在添加助手時,選擇本地部署的 R1 模型啦。
4、再測試使用一下,答案與原文一致,搞定 ~
因為我用的是 Mac,所以沒測試 Windows 設備。不過兩者區別不大,大家可以自行嘗試下。
看到這里,相信你已經找到最適合自己的 DeepSeek 個人知識庫方案了。
如果你和大多數人一樣,選擇使用官方 API ,那就不用再為性能和本地硬件資源發愁;
如果你恰好有充足的算力和技術儲備,本地部署也是個不錯的選擇。
不過,在整個過程中,我想和你分享的不僅僅是這些技術細節。
而是一個中國團隊能做出世界級大模型,一個需要 86 才能注冊的大模型。
很慶幸,我們能作為中國 AI 技術進步的見證人。
當然,暫時的領先不是終點。
但 DeepSeek 給我們帶來的,是“中國也可以”這份信心。
這,才是我們真正要守護的希望。
我是 ?? 熊貓 Jay,希望本次分享能有所幫助。