Meta公司一直致力于這樣一個理念：“ that open source not only provides great technology for developers, but also brings the best out in people”，翻譯過來就是開源不僅為開發人員提供了出色的技術，而且還將給人們帶來更好的。但是前幾天李彥宏說開源模型沒有未來？我們的紅衣大叔安全專家周總也提倡大家開源。
所以，到底開源好還是閉源好呢？
今天通過一個大模型案例來簡單思考下這個問題。
下面主要介紹如何在本地部署llama3大模型，本次介紹擁有80億參數的llama3:8B版本的部署。
【文末有交流群，歡迎大家加入】
群內每天分享免費AI資源、軟件下載、IT技術交流
Llama 3是Meta 公司開發的Llama系列模型的第三個版本，本次提供 8B 和 70B 參數大小的版本。Llama3擁有改進的推理能力。
| 模型版本 | 參數大小 | 模型大小 | 發布時間 |
|---|---|---|---|
| llama3:70b | 700億 | 40GB | 2024-4-18 |
| llama3:8b | 80億 | 4.7GB | 2024-4-18 |
預告了正在訓練中的400B+模型，性能追趕GPT4
[本次使用8b模型，節省下載時間，如需使用其他模型，方法步驟相同，切換下載的模型即可]
curl -fsSL https://ollama.com/install.sh | sh
vim /etc/systemd/system/ollama.service
...
[Service]
#增加,（不修改，后續如果其他主機調用api接口會報無法連接錯）
Environment="OLLAMA_HOST=0.0.0.0:11434"
...
systemctl daemon-reload
systemctl restart ollama
直接瀏覽器訪問http://服務器ip:11434，如返回 ollama in runninng,表示正常，可以繼續下面的步驟
ollama run llama3:8b
本次介紹使用open-webui來接入大模型，如有其他web項目，也可以使用，保持ollama接口一致即可
docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main
#如果鏡像拉取速度慢，可以使用下面的鏡像
docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always registry.cn-hangzhou.aliyuncs.com/pzl_images/open-webui:main
http://ip:8080
注意，如果你的ollama上跑了多個模型，需要在使用前切換模型
到這里，就介紹完了，如何使用Ollama部署AI大模型，就是這么簡單
