“

一夜之間，中國AI大模型DeepSeek-R1橫掃硅谷，迅速引爆全球科技圈，英偉達AI科學家Jim Fan發文感嘆：“一家非美國公司，正在讓OpenAI的初衷得以延續——真正開放、為所有人賦能的前沿研究”。是的，DeepSeek-R1不僅性能媲美OpenAI O1，更做到了完全開源。

”

DeepSeek-R1模型的發布，讓我們可以更好地使用開源大語言模型運行推理任務。現在，R1模型可以通過DeepSeek API獲得，也就是說我們可以將其集成到我們的工作流程中。更好的消息是，Ollama在他們的庫中添加了幾個版本的R1模型，現在我們可以在本地使用Ollama運行R1模型。

現在你將可以做到一個命令建立你的本地知識庫??全程3分鐘??僅需2GB內存??無需GPU運行??安裝即用??快速使用??

下面我們將使用「具有RAG功能的完整端到端文檔管道」的AI搜索引擎開發框架LeetTools，在本地運行Ollama的R1模型。由于我們使用DuckDB作為后端，整個流程可以輕松地安裝在一臺具有16GB RAM且沒有專用GPU的筆記本電腦中。

’

演示

?? 安裝 Ollama

1. 按照以下說明操作 https://github.com/ollama/ollama 安裝ollama程序。

# if the ollama program is not running, start it with the following commandollama serve

2. 加載ollama 模型:

% ollama pull deepseek-r1:1.5b% ollama pull nomic-embed-text

?? 安裝 LeetTools

% conda create -y -n leettools python=3.11% conda activate leettools% pip install leettools

# where we store all the data and logs% export LEET_HOME=${HOME}/leettools% mkdir -p ${LEET_HOME}

% cat > .env.ollama <<EOF# need tot change LEET_HOME to the correct pathLEET_HOME=</Users/myhome/leettools>EDS_DEFAULT_LLM_BASE_URL=http://localhost:11434/v1EDS_LLM_API_KEY=dummy-keyEDS_DEFAULT_INFERENCE_MODEL=deepseek-r1:1.5bEDS_DEFAULT_EMBEDDING_MODEL=nomic-embed-textEDS_EMBEDDING_MODEL_DIMENSION=768EOF

?? 用一個命令建立你的本地知識庫

通過一個命令行，我們可以使用URL中的PDF文件構建知識庫。如果需要，你還可以添加更多URL。


# this is a great LLM introduction book with 231 pagesleet kb add-url -e .env.ollama -k llmbook -l info \    -r https://arxiv.org/pdf/2501.09223

?? 使用R1查詢你的本地知識庫

以下命令將使用LLM構建指南中的內容，使用R1模型回答問題。

leet flow -t answer -e .env.ollama -k llmbook -p retriever_type=local -l info \ -p output_language=cn -q 'How does the FineTune process Work?'

?? 資源使用情況
這個過程最強的地方就是，整個管道只使用了大約2GB的內存，不需要特殊的GPU來運行：
帶有RAG服務后端的LeetTools文檔管道使用了大約350MB的內存
R1型號使用大約1.6GB的內存，嵌入式型號使用大約370MB的內存
`% ollama ps` `NAME ID SIZE PROCESSOR UNTIL` `deepseek-r1:1.5b a42b25d8c10a 1.6 GB 100% CPU 4 minutes from now` `nomic-embed-text:latest 0a109f422b47 370 MB 100% CPU 4 minutes from now`

本站僅提供存儲服務，所有內容均由用戶發布，如發現有害或侵權內容，請點擊舉報。

精品伊人久久大香线蕉,开心久久婷婷综合中文字幕,杏田冲梨,人妻无码aⅴ不卡中文字幕

?? 安裝 LeetTools

?? 使用R1查詢你的本地知識庫