共计 2740 个字符,预计需要花费 7 分钟才能阅读完成。
本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由
本篇文章介绍在 window 系统下,安装 Ollama 并且安装 gemma(谷歌大模型)、llama2(脸书大模型)、qwen(阿里大模型)等大模型的教程,实现类似免费 ChatGPT 的 web 界面
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/OllamaFengmian.png?aliyun)
安装之后的 web 界面
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240514091912366.png?aliyun)
什么是 Ollama
Ollama 是一个开源项目,旨在让用户能够轻松地在其本地计算机上运行大型语言模型(LLM),是一个开源的大型语言模型服务。它支持各种 LLM,包括 Llama 3、Mistral 和 Gemma。
提供了类似 OpenAI 的 API 接口和聊天界面, 可以非常方便地部署最新版本的 GPT 模型并通过接口使用。支持热加载模型文件, 无需重新启动即可切换不同的模型。
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/ollama.png?aliyun)
Ollama GitHub 仓库:https://github.com/ollama/ollama
Ollama 文档:https://github.com/ollama/ollama/blob/main/docs/api.md
Ollama 的优势
易用性:
1.Ollama 的 API 设计简洁明了,即使是初学者也可以轻松上手。2. 提供类似 OpenAI 的简单内容生成接口,极易上手使用。3. 类似 ChatGPT 的的聊天界面,无需开发直接与模型聊天。
灵活性:
1. 支持多种 LLM,如 Llama 2、Code Llama、Mistral、Gemma 等,并允许用户根据特定需求定制和创建自己的模型。2. 支持热切换模型,灵活多变。
可控性:
1. 可以本地运行 LLM,因此用户可以完全控制自己的数据和隐私。2. 可定制模型参数、数据目录和其他设置。
经济性:
1. 与使用云服务相比,本地运行 LLM 可以更省钱。
离线能力:
1. 可让您离线运行 LLM,这对于隐私和安全非常重要。
安装 Ollama
本次安装环境为:Windows11,当然其他系统也可以支持。
下载 Ollama
Ollama 下载地址:https://ollama.com/download
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240511151054662.png?aliyun)
安装 Ollama
安装也比较方便,双击打开 install
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240511151331009.png?aliyun)
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240511151503523.png?aliyun)
ollama run qwen
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240511151819825.png?aliyun)
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240511151923267.png?aliyun)
修改路径
可以看到,系统正在下载 qwen 的模型(并保存在 C 盘,C:\Users.ollama\models 如果想更改默认路径,可以通过设置 OLLAMA_MODELS 进行修改,然后重启终端,重启 ollama 服务。)
setx OLLAMA_MODELS "D:\ollama\model"
安装 Open WebUI
Open WebUI 是一个用于在本地运行大型语言模型(LLM)的开源 Web 界面。
在 window 下安装 docker
1. 启动 Hyper-v
打开控制面板,在程序与功能页面选择启用或 Windows 功能
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240511153112805.png?aliyun)
2. 安装 WSL
打开 powershell,以管理员的身份启动命令窗口,输入
wsl --update
wsl --install
如果不是已管理员身份启动则会报错:请求的操作需要提升
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240511154319596.png?aliyun)
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240511172942703.png?aliyun)
3. 下载 Docker 软件
点击下载链接:https://docs.docker.com/desktop/install/windows-install/
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240511153811506.png?aliyun)
4. 安装 Docker
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240511155742842.png?aliyun)
使用 Docker 部署 Open WebUI
在 Open WebUI 的 github 页面 https://github.com/open-webui/open-webui
可以看到,如果你的 Ollama 和 Open WebUI 在同一台主机,那使用下面显示的这一行命令就可以在本地快速进行部署:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
现在我们打开终端,比如 powershell,然后输入 docker,回车
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240511173724816.png?aliyun)
docker 安装 open-webui
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240511173828471.png?aliyun)
使用 Open WebUI
安装完成后,在 Docker Desktop 中可以看到 Open WebUI 的 web 界面地址为:https://localhost:3000
或者内网 IP+ 端口,这样局域网的其他人也可以访问到
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240511175350983.png?aliyun)
登录
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240511175608965.png?aliyun)
设置为简体中文
点击右上角的设置,可以修改当前界面的语言为简体中文:然后点击保存即可。
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240511175737460.png?aliyun)
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240511175902435.png?aliyun)
使用 llama2(3.8G)
在 power shell 中输入
ollama run llama2
安装完成如图:
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240511180531152.png?aliyun)
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240511180736354.png?aliyun)
使用 llama3(4.7G)
ollama run llama3
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240513110343869.png?aliyun)
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240513110414767.png?aliyun)
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240513110526936.png?aliyun)
使用 Mistral(4.1G)
Mistral 7B 是 Mistral AI 发布的 70 亿参数语言模型。Mistral 7B 是一种精心设计的语言模型,可提供高效和高性能以支持实际应用程序。由于效率的提高,该模型适用于需要快速响应的实时应用。发布时,Mistral 7B 在所有评估基准中均优于最佳开源 13B 模型 (Llama 2)。
安装:
ollama run mistral
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240513111621060.png?aliyun)
使用 gemma(5.0G)
ollama run gemma
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240513112439003.png?aliyun)
使用 qwen:14b(8.2G)
ollama run qwen:14b
![本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由 本机部署大语言模型:Ollama 和 OpenWebUI 实现各大模型的人工智能自由](https://imgoss.xgss.net/picgo/image-20240513113857374.png?aliyun)
结语
安装 Ollama 完成之后就可以在本地愉快的使用大模型了。
例如支持 gemma(谷歌大模型)、llama2(脸书大模型)、qwen(阿里大模型)等 70+ 主流大模型,还在不断增加。
![post-qrcode](https://www.xgss.net/wp-content/uploads/2023/07/二维码-微信公众号256x256.jpg)