共计 5396 个字符，预计需要花费 14 分钟才能阅读完成。

简单 3 步部署本地国产大模型 DeepSeek 大模型

DeepSeek 是最近非常火的开源大模型，国产大模型 DeepSeek 凭借其优异的性能和对硬件资源的友好性，受到了众多开发者的关注。

无奈，在使用时候 deepseek 总是提示服务器繁忙，请稍后再试。

本文将介绍如何通过简单 3 步在本地部署 DeepSeek 大模型，让你能够轻松体验这一强大的 AI 工具。

Deepseek 对世界的影响

改变 AI 行业格局

• 冲击国际 AI 竞争态势：打破了美国等西方国家的 AI 巨头长期领先的局面，使全球 AI 竞争进入技术多极化时代，如微软、亚马逊云科技、英伟达等国际科技巨头纷纷宣布接入 DeepSeek。

• 引发行业洗牌：其他 AI 公司感受到压力，加快技术研发和创新步伐，如 OpenAI 紧急上线新一代推理模型，阿里云发布升级版通义千问旗舰模型。

影响全球科技股市场

• 引发股价波动：英伟达等芯片制造商以及美国的微软、Meta 和谷歌母公司 Alphabet 等科技巨头的股价受到冲击。

• 改变投资风向：吸引了大量资本的关注，让投资者对中国的 AI 产业有了更高的期待，可能会导致更多的资金流向中国的 AI 企业。

推动全球 AI 技术发展

• 提供技术思路：在模型架构、算法等方面实现了多项创新，如采用创新性的混合专家架构等，为全球 AI 研究人员提供了新的思路。

• 加速技术普及：开源策略让更多的开发者和企业能够接触到先进的 AI 技术，降低了 AI 技术的使用门槛，加速其在各个领域的普及。

影响社会文化领域

• 改变工作生活方式：在自然语言处理等方面的能力，可提高翻译、写作、代码生成等工作效率，在制定旅行攻略、翻译外语等日常生活场景中也广泛应用。

• 引发伦理监管讨论：国际社会对 AI 伦理问题关注度提升，数据安全、隐私保护和内容监管等问题成为焦点，促使各国制定更严格的 AI 大模型监管政策。

环境准备

部署方案：Ollama + DeepSeek-R1 + Open WebUI

笔者的电脑硬件配置如下：

系统：Window11

CPU: 13th i7-13700KF

内存：32G

显卡：Nvidia GeForce RTX 4070Ti

可以运行大模型 deepseek-r1 的哪个版本的大模型？

问 deepseek 得到的回答：

最佳选择：优先尝试 DeepSeek-R1-7B 4-bit 量化版，平衡速度和性能；若需要更高精度，可测试 DeepSeek-R1-13B 4-bit 量化版（需确保显存无其他占用）。建议关注官方发布的轻量化版本或社区优化方案（如 GPTQ）。

什么是 Ollama

Ollama 是一个开源项目，旨在让用户能够轻松地在其本地计算机上运行大型语言模型（LLM），是一个开源的大型语言模型服务。它支持各种 LLM，包括 Llama 3、Mistral 和 Gemma。

提供了类似 OpenAI 的 API 接口和聊天界面, 可以非常方便地部署最新版本的 GPT 模型并通过接口使用。支持热加载模型文件, 无需重新启动即可切换不同的模型。

Ollama 官网：https://ollama.com/

Ollama GitHub 仓库：https://github.com/ollama/ollama

第一步、安装 Ollama

下载 Ollama

Ollama 下载地址：https://ollama.com/download

支持 macOS、Linux、Windows 系统，根据自己的系统，下载安装包：

Download for windows

安装 Ollama

windows 系统下安装也比较方便，双击打开 install

安装完成没有提示，我们打开一个终端，本文以 Windows PowerShell 为例，大家也可以使用其他的：

现在 Ollama 已经安装完了，我们需要在终端中输入下方命令运行一个大语言模型进行测试，这里以对在中文方面表现相对好些的千问为例，大家也可以使用其他的模型。

ollama run qwen

安装成功，随便问几个问题。

理论上就安装完成了，可以只在命令行中使用大模型了。

修改路径文件保存路径

可以不用改，如果 C 盘空间不够用，建议修改。

可以看到，系统正在下载 qwen 的模型（并保存在 C 盘，C:\Users<username>.ollama\models 如果想更改默认路径，可以通过设置 OLLAMA_MODELS 进行修改，然后重启终端，重启 ollama 服务。）

setx OLLAMA_MODELS"D:\ollama\model"

运行 DeepSeek

https://ollama.com/library/deepseek-r1

DeepSeek-R1 模型有多个版本，可以根据需要选择不同版本，例如 ollama run deepseek-r1:671b，详情如下（模型参数越大，需要配置越高）：

在 DeepSeek-R1 系列中，还有 1.5B、7B、8B、14B、32B、70B、671B 等不同参数规模的型号。这些不同规模的模型在模型能力、资源需求和应用场景上有所不同。

ollama run deepseek-r1:1.5b【电脑配置低的可以运行此版本，根据文件大小和网络情况，下载时间也不确定】
ollama run deepseek-r1:7b
ollama run deepseek-r1:8b
ollama run deepseek-r1:14b
ollama run deepseek-r1:32b
ollama run deepseek-r1:70b
ollama run deepseek-r1:671b

我这里选择运行 7b（70 亿参数）

Ollama 常用命令（可忽略）

省流版命令：ollama list 和 ollama rm [模型名称]。

模型管理

1. 创建模型

   • 命令：ollama create [Modelfile 路径]

   • 功能：使用包含模型信息的 Modelfile 来创建一个新模型。

2. 显示模型信息

   • 命令 1：ollama show [模型名称]

   • 功能：显示特定模型的详细信息，如模型名称、版本等。

   • 命令 2：/show（在会话界面中使用）

3. 列出所有模型

   • 命令 1：ollama list

   • 命令 2：ollama ls

   • 功能：列出本地所有可用的模型，可以在这里查找模型名称。

4. 从注册表中拉取模型

   • 命令：ollama pull [模型名称]

   • 功能：从模型注册表中拉取一个模型到本地使用。

5. 将模型推送到注册表

   • 命令：ollama push [模型名称]

   • 功能：将本地模型推送到模型注册表中，以便他人或其他系统使用。

6. 复制模型

   • 命令：ollama cp [原模型名称] [新模型名称]

   • 功能：复制一个模型到另一个位置或给定名称的地方。

7. 删除模型

   • 命令：ollama rm [模型名称]

   • 功能：删除一个已安装的模型。

模型运行与会话管理

1. 运行模型

   • 命令：ollama run [模型名称]

   • 功能：运行一个已安装的模型，执行某些任务。可以根据需要指定模型的参数和配置。

2. 加载模型

   • 命令：/load <model>

   • 功能：在会话界面中加载一个特定的模型或会话。可以指定一个模型的名称或路径来加载它。

3. 保存模型或会话状态

   • 命令：/save <model>

   • 功能：在会话界面中保存当前的会话状态或模型。可以将当前会话或模型的配置保存为一个文件，以便以后使用。

4. 清理上下文

   • 命令：/clear

   • 功能：清除会话上下文。这将删除当前会话中的所有历史记录或对话内容。

5. 退出对话模型

   • 命令：/bye

   • 功能：退出当前与模型的对话，并退出程序。

其他命令

1. 获取帮助信息

   • 命令 1：ollama help [命令名称]

   • 命令 2：ollama --help

   • 功能：获取有关 Ollama 任何命令的帮助信息。如果指定了命令名称，则显示该命令的详细帮助信息。

2. 查看版本信息

   • 命令 1：ollama version

   • 命令 2：ollama -v

   • 命令 3：ollama --version

   • 功能：显示当前 Ollama 工具的版本信息。

3. 查看快捷键

   • 命令：/?shortcuts

   • 功能：在会话界面中查看键盘快捷键的帮助信息，帮助更快速地进行操作。

4. 设置会话参数和配置

   • 命令：/set 参数名 参数值

   • 功能：用于设置会话参数和配置，例如设置消息格式、启用或禁用历史记录等。

第二步、安装 Docker

Open WebUI 是一个用于在本地运行大型语言模型（LLM）的开源 Web 界面。

Open WebUI 是在 docker 中安装的，所以要先安装 docker。

在 window 下安装 docker

1. 启动 Hyper-v

打开控制面板，在程序与功能页面选择启用或 Windows 功能

然后，重启计算机。

2. 安装 WSL

打开 powershell，以管理员的身份启动命令窗口，输入

wsl --install

如果不是已管理员身份启动则会报错：请求的操作需要提升

然后再次重启电脑。

3. 下载 Docker 软件

点击下载链接：https://docs.docker.com/desktop/install/windows-install/

4. 安装 Docker

第三步、使用 Docker 部署 Open WebUI

开源地址：https://github.com/open-webui/open-webui

参考：https://github.com/open-webui/open-webui?tab=readme-ov-file#installation-with-default-configuration

可以看到，如果你的 Ollama 和 Open WebUI 在同一台主机，那使用下面显示的这一行命令就可以在本地快速进行部署：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
​
 由于我的电脑有 GPU
​
 此时我使用的是：
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

现在我们打开终端，比如 powershell，然后输入 docker，回车

然后将上边在 docker 中部署 Open WebUI 的命令复制后粘贴到终端中，回车。

docker 安装 open-webui

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

要运行支持 Nvidia GPU 的 Open WebUI，请使用以下命令：

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

如果您仅使用 OpenAI API，请使用以下命令：

docker run -d -p 3000:8080 -e OPENAI_API_KEY=your_secret_key -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果仅适用于 CPU，不使用 GPU，请改用以下命令：

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

使用浏览器 Open WebUI

安装完成后，在 Docker Desktop 中可以看到 Open WebUI 的 web 界面地址为：http://localhost:3000

或者内网 IP+ 端口，这样局域网的其他人也可以访问到，甚至是通过内网穿透，让其他人也可以访问。

注册账号点击 sign up

登录

设置为简体中文

点击右上角的设置，可以修改当前界面的语言为简体中文：然后点击保存即可。

点击上方选择一个模型旁边的加号 + 可以增加大模型，点击下拉按钮可以选择当前使用哪一个已安装的模型，接下来就可以愉快的跟 ai 聊天了！

结束语

从环境准备到获取模型文件，再到加载并运行模型，整个过程清晰明了，适合初学者和有一定经验的开发者。

使用 Ollama 在本地搭建 DeepSeek 具有充分利用本地算力、保护数据隐私、便捷更新模型等优点，但同时也存在硬件要求高、技术门槛高、部署过程繁琐等缺点。用户在选择是否进行本地部署时，应根据自己的实际需求和技术水平进行权衡。

写文不易，如果你都看到了这里，请点个赞和在看，分享给更多的朋友；也别忘了关注星哥玩云！这里有满满的干货分享，还有轻松有趣的技术交流～点个赞、分享给身边的小伙伴，一起成长，一起玩转技术世界吧！😊