使用ollama deepseek r1 +nomic-embed-text + anythingllm + 本地知識庫 喂出一個離線網絡安全專家
使用Ollama可以大大降低顯存需求，消費級的顯卡也能運行大模型，官網下載安裝即可：https://ollama.com/download
安裝 之后狀態欄：
進入Ollama官網，找到Models標簽
根據自己的喜好和主機性能選擇模型，這里用最近爆火的deepseek
這里以 8b 為例
復制下命令后，直接本地cmd運行即可
（不掛代理下載會很慢）
下載完成后直接進入了cmd的對話進程
下次運行，直接在cmd里面啟動就好了
Ollama模型的默認存儲目錄：
C:\Users\用戶名\.ollamaC盤不夠，可以更改模型存儲位置：
設置環境變量OLLAMA_MODELS
E:\ai\ollama\modelsimage-20250208111917343
下載地址：
https://anythingllm.com/download
默認安裝路徑
C:\Users\用戶\AppData\Local\Programs\AnythingLLM
安裝完成后，啟動會進入自動引導界面，跟著界面一步步來：
這里選擇Ollama
用我們剛剛下載的 DeepSeek-R1:8b 大模型
一直下一步，然后為工作區起個名字
然后即可創建成功
然后進行一些設置
這里之前安裝的時候已經設置了
向量數據庫不用動即可，使用自帶的（ps:如果沒有選擇安裝目錄，默認在c盤，如果后續有需要可以挪走）
嵌入模型配置，可以使用自帶的
也可以通過 Ollama 使用 nomic-embed-text 作為 Embedder （本例使用這個）
ollama pull nomic-embed-text“Max Embedding Chunk Length” ，定義了在將文本分割成多個塊（Chunk）時，每個塊的最大長度，數字越小代表文本文件會被切分的更加細致。最好改為128～512之間，這里設置為512
這是DeepSeek 給出的兩者的對比：
image-20250207223147682
最后在當前聊天的設置中將“文檔相似性閾值”：
這個可以根據實際搜索的內容與知識庫的相關性靈活性設置（這里設置為高）
首先點擊上傳按鈕：
支持多種類型的文檔，直接拖進來即可（支持直接把文件夾丟過去）
最下方支持網址提交，當你輸入網址后，點擊“Fetch Website”按鈕，爬蟲就會對指定的網址內容進行爬取。
拖進來之后，全部選中，接著點擊“Move to Workspace”，將所有文件移入我們的WorkSpace：
最后點擊“Save and Embed”按鈕等待完成
完成后，返回聊天框，就可以在AnythingLLM中進行基于檢索增強生成（RAG）的聊天或問答了
效果：
