精品伊人久久大香线蕉,开心久久婷婷综合中文字幕,杏田冲梨,人妻无码aⅴ不卡中文字幕

目錄

一、Ollama是什么？

二、如何在Mac上安裝Ollama

1. 準備工作

2. 下載并安裝Ollama

3. 運行Ollama

4. 安裝和配置大型語言模型

5. 使用Ollama

三、安裝open-webui

1. 準備工作

2. Open WebUI ?的主要特點

3. Docker安裝OpenWebUI，拉去太慢可以使用手動安裝

4. 配置本地大模型LLaMA2-7B

5. 驗證配置

四、使用Ollama + AnythingLLM構建類ChatGPT本地問答機器人系

學習目標

1. 下載AnythingLLM

2. 安裝AnythingLLM

3. 配置AnythingLLM

3.1 選擇LLM、嵌入模型和向量數據庫

3.2 設置環境變量（如果需要）

3.3 權限管理（如果需要）

4. 構建知識庫

5. 開始使用

6. 自定義集成（如果需要）

7. 監控和反饋

8. 注意事項

9. 額外信息

參考文章

---

一、Ollama是什么？

Ollama是一個功能強大的開源框架，旨在簡化在Docker容器中部署和管理大型語言模型（LLM）的過程。以下是關于Ollama的詳細介紹：

1. 定義與功能：
   • Ollama是一個開源的大型語言模型服務工具，它幫助用戶快速在本地運行大模型。
   • 通過簡單的安裝指令，用戶可以執行一條命令就在本地運行開源大型語言模型，如Llama 2。
   • Ollama極大地簡化了在Docker容器內部署和管理LLM的過程，使得用戶能夠快速地在本地運行大型語言模型。
2. 特點與優勢：
   • 功能齊全：Ollama將模型權重、配置和數據捆綁到一個包中，定義成Modelfile。
   • 優化設置與配置：它優化了設置和配置細節，包括GPU使用情況。
   • 易用性：用戶無需深入了解復雜的部署和管理流程，只需簡單的安裝和配置即可使用。
   • 支持熱加載：用戶無需重新啟動即可切換不同的模型。
3. 支持的平臺與模型：
   • Ollama支持在Mac和Linux平臺上運行。
   • 它支持運行多種開源大型語言模型，如Llama 2。
4. API與界面：
   • Ollama提供了類似OpenAI的API接口和聊天界面，方便用戶部署和使用最新版本的GPT模型。
5. 安裝與部署：
   • Ollama的安裝過程被極大地簡化，并提供了多種選擇，包括Docker鏡像。

綜上所述，Ollama是一個為在本地運行大型語言模型而設計的強大、易用、功能齊全的開源框架。它通過優化設置和配置，簡化了在Docker容器中部署和管理LLM的過程，使得用戶能夠快速、方便地在本地運行大型語言模型。

二、如何在Mac上安裝Ollama

在Mac上安裝Ollama的步驟如下，結合了參考文章中的信息，并進行了適當的總結和歸納：

1. 準備工作

• 確認系統兼容性：Ollama支持在Mac上運行，但請確保您的Mac滿足運行大型語言模型所需的最低系統要求。
• 檢查存儲空間：安裝和運行Ollama以及大型語言模型可能需要較大的磁盤空間。請確保您的Mac有足夠的存儲空間。

2. 下載并安裝Ollama

• 訪問Ollama官網：前往Ollama的官方網站（如：https://ollama.com/）下載適用于Mac的安裝包。
• 下載安裝包：在官網找到適用于Mac的下載鏈接，下載Ollama的安裝包。
• 安裝Ollama：雙擊下載的安裝包，按照提示完成安裝過程。

3. 運行Ollama

• 打開終端：在Mac上打開終端（Terminal）。
• 運行命令：在終端中，輸入相應的命令來啟動和運行Ollama。例如，使用ollama pull llama3命令來拉取并安裝Llama 3模型（請注意，這只是一個示例命令，具體命令可能因Ollama的版本和您的需求而有所不同）。
• 下載llama2地址：llama2
• 下載命令：ollama run llama2:7b
  • 

4. 安裝和配置大型語言模型

• 選擇模型：根據您的需求選擇合適的大型語言模型。Ollama支持多種開源大型語言模型，如Llama 2、Llama 3等。
• 安裝模型：使用Ollama提供的命令來安裝所選的模型。例如，使用ollama pull llama3命令來安裝Llama 3模型。
• 配置模型：根據模型的文檔和說明，進行必要的配置和設置。這可能包括設置模型的參數、配置GPU使用情況等。

5. 使用Ollama

• 啟動服務：在成功安裝和配置模型后，您可以使用Ollama提供的命令或API來啟動和運行模型服務。

• 訪問和使用：通過Ollama提供的Web界面或API接口，您可以訪問和使用已部署的大型語言模型進行各種任務，如文本生成、問答等。

• API調用

  curl http://localhost:11434/api/generate -d '{

  “model”: “llama2:7B”,

  “prompt”:“Why is the sky blue”

  }’

  • 

• 回答問題時CPU100%，MAC M1 8G內存

  • 

請注意，以上步驟和命令可能因Ollama的版本和您的具體需求而有所不同。建議您參考Ollama的官方文檔和社區資源，以獲取最準確和最新的安裝和使用指南。

三、安裝open-webui

1. 準備工作

1. 安裝Docker環境：確保你的系統上已經安裝了Docker Desktop。你可以從Docker官網下載并安裝適合你操作系統的Docker Desktop版本。
2. 配置Docker以支持GPU（可選）：如果你的本地有GPU，并且希望利用GPU加速大模型效果，你需要在Docker Desktop中配置GPU支持。這通常涉及到在Docker Desktop的設置中啟用GPU支持，并安裝相應的驅動程序和軟件。
3. 可參考文章：Macbook m1安裝docker詳細教程_mac m1安裝docker-CSDN博客

2. Open WebUI 的主要特點

GitHub - open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)

• ??輕松設置：使用 Docker 或 Kubernetes（kubectl、kustomize 或 helm）無縫安裝，提供無憂體驗，同時支持標記映像和標記映像。:ollama``:cuda

• ??Ollama/OpenAI API 集成：輕松集成兼容 OpenAI 的 API，與 Ollama 模型進行多功能對話。自定義 OpenAI API URL 以鏈接LMStudio、GroqCloud、Mistral、OpenRouter 等。

• ??Pipelines、Open WebUI 插件支持：使用Pipelines 插件框架將自定義邏輯和 Python 庫無縫集成到 Open WebUI 中。啟動您的 Pipelines 實例，將 OpenAI URL 設置為 Pipelines URL，探索無限可能。示例包括函數調用、控制訪問的用戶速率限制、使用 Langfuse 等工具進行使用情況監控、使用LibreTranslate提供多語言支持的實時翻譯、有害消息過濾等等。

• ??響應式設計：在臺式電腦、筆記本電腦和移動設備上享受無縫體驗。

• ??**適用于移動設備的漸進式 Web 應用程序 （PWA）：**使用我們的 PWA 在您的移動設備上享受類似本機應用程序的體驗，提供對 localhost 的離線訪問和無縫的用戶界面。

• ??完整的 Markdown 和 LaTeX 支持：通過全面的 Markdown 和 LaTeX 功能提升您的 LLM 體驗，以實現豐富的交互。

• ??模型生成器：通過 Web UI 輕松創建 Ollama 模型。通過Open WebUI 社區集成，輕松創建和添加自定義角色/代理、自定義聊天元素和導入模型。

• ??本地 RAG 集成：通過突破性的檢索增強生成 （RAG） 支持，深入了解聊天交互的未來。此功能將文檔交互無縫集成到您的聊天體驗中。您可以將文檔直接加載到聊天中或將文件添加到文檔庫中，在查詢之前使用命令輕松訪問它們。#

• ??RAG 的 Web 搜索：使用 、 、 、 和 等提供程序執行 Web 搜索，并將結果直接注入到聊天體驗中。SearXNG``Google PSE``Brave Search``serpstack``serper

• ??Web 瀏覽功能：使用后跟 URL 的命令將網站無縫集成到您的聊天體驗中。此功能允許您將 Web 內容直接合并到您的對話中，從而增強交互的豐富性和深度。#

• ??圖像生成集成：使用 AUTOMATIC1111 API 或 ComfyUI（本地）和 OpenAI 的 DALL-E（外部）等選項無縫整合圖像生成功能，通過動態視覺內容豐富您的聊天體驗。

• 許多模型對話：毫不費力地同時與各種模型互動，利用它們的獨特優勢來獲得最佳響應。通過并行利用各種模型來增強您的體驗。

• ??**基于角色的訪問控制 （RBAC）：**確保使用受限權限進行安全訪問;只有經過授權的個人才能訪問您的 Ollama，并且為管理員保留獨家模型創建/拉取權限。

• ???多語言支持：通過我們的國際化 （i18n） 支持，以您的首選語言體驗 Open WebUI。加入我們，擴展我們支持的語言！我們正在積極尋找貢獻者！

• ??持續更新：我們致力于通過定期更新、修復和新功能來改進 Open WebUI。

想了解更多關于Open WebUI的功能嗎？查看我們的Open WebUI 文檔，了解全面概述！

3. Docker安裝OpenWebUI

拉取Open-WebUI鏡像：使用Docker命令從GitHub Container Registry拉取Open-WebUI的鏡像。例如，你可以運行以下命令來拉取最新的Open-WebUI鏡像：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

下載太慢，需要配置docker國內鏡像倉庫，參考這篇文章：

MacOS上配置docker國內鏡像倉庫地址_mac docker配置鏡像源-CSDN博客

如果163也很慢，建議配置阿里云鏡像地址，需要登陸阿里云不過配置發現更慢！手動下載了

最后只能用魔法解決了

4. 安裝完成

4.1 本地登陸

登陸地址http://localhost:3000/ 注冊賬號登陸

4.2 選擇模型

4.3 聊天

4.4 配置文本嵌入模型

4.5 上傳PDF文檔

4.6關聯文檔，回答問題

4. 配置本地大模型LLaMA2-7B

1. 下載LLaMA2-7B模型：你需要從適當的來源（如Hugging Face的模型倉庫）下載LLaMA2-7B模型的文件。由于模型文件可能非常大，下載可能需要一些時間。確保你有足夠的存儲空間來存儲這些文件。
2. 配置Open-WebUI以使用LLaMA2-7B模型：Open-WebUI允許你通過配置文件或環境變量來指定要使用的模型。你需要根據你的Open-WebUI版本和配置方式，將LLaMA2-7B模型的路徑或位置配置到Open-WebUI中。具體的配置方法可能因Open-WebUI版本而異，請參考Open-WebUI的官方文檔或GitHub倉庫中的說明進行配置。
3. 重啟Open-WebUI容器：在配置完Open-WebUI以使用LLaMA2-7B模型后，你需要重啟Open-WebUI容器以使配置生效。你可以使用Docker命令來停止并重新啟動容器，或者如果Open-WebUI支持熱重載配置，你也可以嘗試重新加載配置而不必重啟容器。

5. 驗證配置

1. 訪問Open-WebUI界面：在配置完成后，你可以通過瀏覽器訪問本地的3000端口來訪問Open-WebUI的界面。在界面上，你應該能夠看到已經配置好的LLaMA2-7B模型，并可以開始使用它進行對話或其他任務。
   1. 
2. 測試LLaMA2-7B模型：在Open-WebUI界面中，你可以嘗試與LLaMA2-7B模型進行對話或執行其他任務來驗證配置是否正確。如果一切正常，你應該能夠看到LLaMA2-7B模型對你的輸入做出合理的響應。

四、使用Ollama + AnythingLLM構建類ChatGPT本地問答機器人系

學習目標

• 使用開源軟件Ollama+AnythingLLM構建本地類ChatGPT問答機器人系統
• 熟悉和了解基于LLM的本地RAG知識庫搭建原理和邏輯，替換符合國內的LLM工具
• 學會安裝、配置、使用問答系統，找出符合企業私有化客服（對內）的產品規劃邏輯
• 對比和發現問題，尋找優劣點

當在MAC上安裝AnythingLLM時，以下是更詳細的步驟，結合了參考文章中的信息：

1. 下載AnythingLLM

• 訪問AnythingLLM的官方網站：Download AnythingLLM for Desktop（注意：鏈接可能隨時間而變化，請以最新信息為準）。
• 在下載頁面選擇適用于MacOS的桌面版dmg文件，點擊下載。
• 

2. 安裝AnythingLLM

• 下載完成后，找到下載的dmg文件，雙擊打開。
• 跟隨安裝向導的指示，完成AnythingLLM的安裝過程。
• 安裝完成后，打開AnythingLLM應用。初次啟動可能需要一些時間進行初始化操作。
• 
• 
• 
• 
• 
• 

3. 配置AnythingLLM

3.1 步驟說明

3.2選擇LLM、嵌入模型和向量數據庫

• 在AnythingLLM應用中，根據需求選擇或下載適當的大語言模型（LLM）、嵌入模型和向量數據庫。
  • LLM：AnythingLLM支持多種LLM，包括但不限于OpenAI的GPT系列、Gemini、Mistral等。
    • 
  • 嵌入模型：可以選擇內置的嵌入模型或下載其他模型，如OpenAI、LocalAi、Ollama等提供的嵌入模型。
    • nomic-embed-text
    • 
    • 
  • 向量數據庫：默認使用內置的LanceDB，但也可以選擇其他如Chroma、Milvus、Pinecone等。

3.3設置環境變量（如果需要）

• 根據AnythingLLM的文檔說明，如有需要，設置所需的環境變量，例如OLLAMA_MODELS。

3.4權限管理（如果需要）

• 如果是企業級應用，可以設置多用戶并進行權限管理，確保數據的安全性。

4. 構建知識庫

• 在AnythingLLM中，通過“選擇知識”按鈕上傳文檔或給定知識文件鏈接（支持PDF、TXT、DOCX等文檔格式）。
• 將文檔通過嵌入模型轉化為向量，并保存到向量數據庫中。這個過程可能需要一些時間，具體取決于文檔的大小和系統的性能。
• 
• 
• 
• 

5. 開始使用

• 配置完成后，就可以在AnythingLLM中進行基于檢索增強生成（RAG）的聊天或問答了。

• 可以創建自己的工作區（workspace），設置不同的配置，并開始與LLM進行交互。

• 

• 

6. 自定義集成（如果需要）

• 如果需要，可以使用AnythingLLM的開發者API進行自定義集成，以滿足特定的業務需求。

7. 監控和反饋

• 利用AnythingLLM的遙測功能來監控應用的使用情況。
• 如果遇到問題或需要改進，可以通過創建issue或PR來提供反饋。

8. 注意事項

• 定期檢查并更新AnythingLLM和相關的模型、嵌入模型、向量數據庫，以獲取最佳的性能和安全性。
• 注意保護個人隱私和知識產權，確保上傳的文檔內容合法合規。

9. 額外信息

• AnythingLLM是一個全棧應用程序，允許用戶將任何文檔、資源或內容轉化為任何LLM在聊天過程中可以用作參考的上下文。
• 該應用程序支持多種LLM、嵌入器和向量數據庫，并提供了多用戶支持和權限管理功能。
• 通過AnythingLLM，用戶可以在本地或云端搭建個性化的聊天機器人系統，無需復雜設置。

參考文章

Ollama-0001-安裝

Ollama：本地大模型運行指南

ollama+open-webui，本地部署自己的大模型_ollama的webui如何部署-CSDN博客

Macbook m1安裝docker詳細教程_mac m1安裝docker-CSDN博客

MacOS上配置docker國內鏡像倉庫地址_mac docker配置鏡像源-CSDN博客

第九期： 使用Ollama + AnythingLLM構建類ChatGPT本地問答機器人系統 - 知乎 (zhihu.com)

AI小白使用Macbook Pro安裝llama3與langchain初體驗_mac安裝llama3-CSDN博客

EP4 Ollama + AnythingLLM 解讀本地文檔 構建私有知識庫_嗶哩嗶哩_bilibili