DeepSeek接入個人知識庫,一般電腦也能飛速跑,確實可以封神了!
今天這篇教程關于:在自己電腦如何使用大模型,搭建“輕量飛速”個人知識庫。之前文章已有介紹為什么要在本地搭建個人知識庫,在此不再展開,簡單來說,本地搭建知識庫能做到更加安全地管理個人文檔、或企業不方便外傳的文檔等。
這周末開發的桌面軟件,咱們先看看界面功能:包括文件上傳,知識庫管理,關鍵詞查詢及結果顯示,然后大模型深度思考分析(部分截圖):1) 輕量。無需向量數據庫,對電腦性能要求降到最低;2) 極速。在保證查詢性能、AI回答效果前提下,做到盡可能的快。3) 免費。方案包括的所有工具全部開源,不用花一分錢。查詢選型whoosh。之前文章也有介紹,最大特點輕量、開源、性能夠好。
大模型配置靈活,選擇DeepSeek-r1:1.5b,最新發布的推理模型,選擇1.5b尺寸,回復極速,回答效果夠好。效果下面會有證明。
總結來說:whoosh(本地查詢快) + DeepSeek-r1:1.5b(回答極速、效果還有保證)whoosh(本地查詢快) ,快到什么程度,20頁的PDF,按關鍵詞查詢能在ms級;DeepSeek-r1:1.5b(回答極速、效果還有保證),極速到什么程度,我的電腦是m1,會話第一次拿到回復秒(s)級。
本站僅提供存儲服務,所有內容均由用戶發布,如發現有害或侵權內容,請
點擊舉報。