AI大模型風起云涌的時代，ChatGPT、Claude.ai和Meta.ai等各種各樣的AI聊天機器人讓大家眼花繚亂，不知道該用那個才好。但是這類模型往往需要通過Saas的方式訪問其平臺，如果真在在需要一些涉及敏感或者保密數(shù)據(jù)情況下就不能使用。為了解決這個問題可以下載開源大模型在本地隔離環(huán)境中部署和使用。這樣，讓外部無法訪問的你的數(shù)據(jù)。運行自己的大語言模型可能聽起來很復雜，但使用正確的工具，它會非常簡單。本文蟲蟲就給大家推薦一下支持在本地部署的大模型工具，讓你完美打造本地的ChatGPT智能助手。
如果想要一個在本地運行并且不會將數(shù)據(jù)發(fā)送到其他地方的聊天機器人，GPT4All提供了一個非常容易設置的桌面客戶端可供下載。它包括在本地系統(tǒng)上運行的模型的選項，并且有適用于Windows、macOS和Ubuntu的版本。
第一次打開GPT4All桌面應用程序時，將看到下載大約10個（截至撰寫本文時）可在本地運行的模型的選項。其中包括Meta AI的Llama-2-7B聊天模型。 通過輸入API密鑰（訂購了其授權(quán)），也可以將OpenAI的GPT-3.5和GPT-4繼集成進來。
GPT4All中模型下載界面的一部分。一旦打開應用程序的使用部分，下載的模型就會自動出現(xiàn)。
一旦模型設置完畢，聊天機器人界面本身就干凈且易于使用。方便的選項包括將聊天復制到剪貼板并生成響應。
還有一個測試版LocalDocs插件，可在本地與自己的文檔“聊天”。可以在“設置”>“插件”選項卡中啟用它，在 “LocalDocs 插件（BETA）設置”標題和在特定文件夾路徑創(chuàng)建集合的選項。
該Beta版插件目前還在內(nèi)測階段，即使大語言模型可以訪問添加的專家信息，它仍然可能會“產(chǎn)生幻覺”（編造事情）。盡管如此，這是一個有趣的功能，隨著開源模型變得更加強大，它可能會得到改進。
除了聊天機器人應用程序之外，GPT4All還支持Python、Node和命令行界面 (CLI)。另外還支持服務器模式 ，通過一個本地Web AI平臺通過HTTP API供本地其他機器進行交互使用。
LLM是一個支持在本地部署和使用的最簡單的開源大模型之一。系統(tǒng)為Python開發(fā)需要本地Python語言環(huán)境。以Mac為例，通過Homebrew包管理器一鍵下載安裝：
brew install llm在windows下可以使用pip：
pip install llmLLM 默認使用OpenAI模型，但可以使用插件在本地運行其他模型。例如，如果安裝了gpt4all插件，則可以使用GPT4All訪問其他本地模型，比如llama、MLC和MPT-30B等模型的插件。
插件安裝的命令llm install，比如
llm install llm-gpt4all可以使用以下命令查看所有可用模型（遠程模型和已安裝的模型），包括每個模型的簡要信息：llm models list
當要求LLM列出可用模型時顯示的內(nèi)容。
LLM的使用方法也很簡單：
llm -m the-model-name '查詢內(nèi)容'Llm支持與GPT4All兼容的模型，如果本地系統(tǒng)上不存在GPT4All模型，LLM工具會在運行查詢之前自動為下載它。下載模型時，將在終端中看到一個進度條。
還可以為 LLM 中的模型設置別名：
llm aliases set falcon ggml-model-gpt4all-falcon-q4_0要查看所有可用的別名，可用
llm aliasesLLM還有其他功能，例如argument標志，支持繼續(xù)之前的聊天并能夠在 Python腳本中使用它。
Ollama是一種比LLM更簡單的下載和運行模型的方法。
Ollama的安裝設置非常簡單，通過點擊就可以實現(xiàn)。盡管Ollama是一個命令行工具，但只有一個命令的語法如下ollama run model-name。與LLM一樣，如果系統(tǒng)上尚未存在該模型，它將自動下載。
可用模型包括基于Llama的模型的多個版本，包括Llama 3、Code Llama CodeUp和medllama2（經(jīng)過微調(diào)以回答問題）醫(yī)療問題。關(guān)于Ollama運行硬件其官方建議為：
應該至少有8GB的?RAM來運行3B模型，16GB來運行7B模型，32GB 來運行 13B模型。
Ollama這次hi一些附加功能，例如LangChain集成以及與PrivateGPT一起運行的能力。Ollama也支持在終端窗口中運行，并在每次需要問問題時將其彈出。
H2O.ai致力于自動化機器學習，其工具比較適合具有特定領(lǐng)域知識的專業(yè)人士使用。
h2oGPT測試版本的安裝快速而簡單，對一個小白來說也完全不在話下。
無需添加自己的文件，就可以將該應用程序用作通用聊天機器人。 或者可以上傳一些文檔并詢問有關(guān)這些文件的問題。兼容的文件格式包括PDF、Excel、CSV、Word、文本、Markdown等。
h2oGPT UI 提供一個專家選項卡，其中包含許多配置選項，供用戶知道自己在做什么。這為更有經(jīng)驗的用戶提供了嘗試改善結(jié)果的選擇。
如果想更好地控制更多模型的流程和選項，請下載完整的應用程序。對于具有GPU或僅CPU的系統(tǒng)，有適用于Windows和macOS的一鍵安裝程序。
PrivateGPT還旨在讓用戶使用自然語言查詢自己的文檔并獲得生成式AI響應。該應用程序中的文檔可以包括幾十種不同的格式。PrivateGPT保證數(shù)據(jù)100%保護用戶數(shù)據(jù)隱私，任何數(shù)據(jù)都不會離開執(zhí)行環(huán)境。用戶可以在沒有互聯(lián)網(wǎng)連接的情況下提取文檔并提出問題。
PrivateGPT提供腳本來攝取數(shù)據(jù)文件，將它們分割成塊，創(chuàng)建“嵌入”（文本含義的數(shù)字表示），并將這些嵌入存儲在本地Chroma向量存儲中。當提出問題時，該應用程序會搜索相關(guān)文檔并將這些文檔發(fā)送給大語言模型以生成答案。
對于熟悉Python的同學，則可以完全克隆完整的 PrivateGPT 代碼并在本地運行它。 如果對 Python 的了解較少，可能需要下已經(jīng)打包好的簡化版本，該版本的設置要容易得多。
PrivateGPT包含可能在終端中的“與自己的文檔聊天”應用程序中最想要的功能，但文檔警告說它不適用于生產(chǎn)，一旦運行它，即使是小型型號選項在家用級電腦上運行也非常緩慢。
PrivateGPT的衍生產(chǎn)品LocalGPT包含更多模型選項。對于這種安裝和設置是否“簡單”，人們可能會有不同的看法，但它看起來確實很有希望。不過，與 PrivateGPT 一樣單獨在 CPU 上運行它會很慢。
Jan是一個相對較新的開源項目，旨在通過“開放、本地優(yōu)先的產(chǎn)品”來“民主化人工智能訪問”。該應用程序易于下載和安裝，界面在可定制性和易用性之間實現(xiàn)了良好的平衡。這是一個使用起來很有趣的應用程序。
選擇要在一月使用的模型非常簡單。在應用程序中有超過30個模型的描述可供一鍵下載，其中包括一些帶有視覺的模型。還可以以GGUF格式導入其他格式。 如果硬件不足，Jan中心列出的型號會顯示“RAM 不足”標簽。
Jan 的聊天界面包括一個右側(cè)面板，可讓設置LLM的系統(tǒng)指令并調(diào)整參數(shù)。
除了在本地運行LLMS之外，Jan還允許使用云端的OpenAI模型。 而且，可以將Jan設置為使用遠程或本地API服務器。
英偉達的Chat with RTX演示應用程序旨在回答有關(guān)文檔目錄的問題。自今年2月份推出以來，RTX可以使用本地運行的Mistral或Llama 2 LLM。需要一臺配備 Nvidia GeForce RTX 30系列或更高GPU且至少有8GB GPU RAM 的Windows PC 才能運行該應用程序。還需要穩(wěn)定的互聯(lián)網(wǎng)連接，因為下載的壓縮包大小為 35GB。
解壓后，Chat with RTX 是一個非常易于使用的簡單界面。單擊該圖標將啟動一個Windows終端，該終端運行腳本以在默認瀏覽器中啟動應用程序。
選擇LLM和文件路徑，等待應用程序文件創(chuàng)建嵌入（可以在終端窗口中跟蹤該進度），然后提出的問題。響應包括指向LLM用于生成答案的文檔的鏈接，如果想確保信息準確，這會很有幫助，因為模型可能會根據(jù)它知道的其他信息而不僅僅是您的特定文檔來回答。該應用程序當前支持.txt、.pdf和.doc文件以及通過油管視頻的URL。
llamafile由Mozilla推出，允許開發(fā)人員將大型語言模型的關(guān)鍵部分轉(zhuǎn)換為可執(zhí)行文件。它還附帶了可以下載GGUF 格式的LLM文件、導入它們并在本地瀏覽器內(nèi)聊天界面中運行它們的軟件。
要運行l(wèi)lamafile，
curl -L github /Mozilla-Ocho/llamafile/releases/download/0.1/llamafile-server-0.1> llamafile
chmod +x llamafile然后，下載選擇的模型。下好后就可以在終端中運行模型
./llamafile --model ./zephyr-7b-alpha.Q4_0.gguf代替zephyr無論模型位于何處，請等待其加載，然后在瀏覽器中打開它： 127.0.0.1:8080，將有看到一個打開的屏幕，其中包含各種聊天選項：
在底部輸入查詢，它就會變成一個基本的聊天機器人界面：
可以使用項目GitHub 存儲庫上的示例文件之一來測試運行單個可執(zhí)行文件： mistral-7b-instruct, llava-v1.5-7b-server，或者wizardcoder-python-13b。
另一個桌面應用程序LM Studio具有易于使用的界面來運行聊天，但更多地需要自己選擇模型。如果知道要下載并運行什么模型，這可能是一個不錯的選擇。如果剛開始使用ChatGPT，并且對如何最好地平衡精度與大小的知識有限，那么所有選擇一開始可能會有點不知所措。Hugging Face Hub是LM Studio內(nèi)部模型下載的主要來源，模型數(shù)量非常多 。
LM Studio提供一個漂亮、干凈的界面：
LM Studio提供一個內(nèi)置服務器，可以作為OpenAI API 的直接替代品。
與其使用其他在線平臺聊天查詢，不如動手打造一個適應自己的本地大模型，不光可以保護自己的數(shù)據(jù)隱私，也可以借此對大模型底層和更深入的探索了解，提高自己的AI功力。
