Deepseek本地化部署指南
Deepseek本地化部署指南
本文将为你详细介绍Deepseek的本地化部署过程,包括Ollama的安装、DeepSeek R1模型的下载与运行,以及WebUI的安装和使用。通过本文,你将能够快速掌握在本地环境中部署和使用Deepseek的方法。
1. 安装Ollama
首先需要访问Ollama官网(Ollama),点击“Download”,根据你的操作系统(Windows、macOS或Linux)下载对应的安装包。
下载完成后,双击安装包文件“OllamaSetup.exe”完成安装。安装完成后,启动CMD或Powershell,输入以下命令验证是否安装成功:
ollama --version
如果显示版本信息,说明安装成功:
PS C:\WINDOWS\system32> ollama --version
ollama version is 0.5.7
PS C:\WINDOWS\system32>
2. 下载DeepSeek R1
模型下载地址是deepseek-r1,可以根据自己的显存配置下载对应的模型。也可以直接使用ollama指令来下载对应的模型,具体建议如下:
- 4GB以下显存:建议使用1.5B模型
- 8-12GB显存:建议使用14B以下模型
以下是具体的下载命令:
ollama run deepseek-r1:1.5b
ollama run deepseek-r1:7b
ollama run deepseek-r1:8b
ollama run deepseek-r1:14b
ollama run deepseek-r1:32b
ollama run deepseek-r1:70b
ollama run deepseek-r1:671b
使用ollama指令下载后会直接运行,可以使用ctrl+z退出,使用ollama list
查看本地已经下载的模型:
ollama list
延展阅读:其他模型下载
DeepSeek-R1
模型 | 总参数 | 已激活参数 | 上下文长度 | 下载 |
---|---|---|---|---|
DeepSeek-R1-Zero | 671B | 37B | 128千 | 🤗 HuggingFace |
DeepSeek-R1 | 671B | 37B | 128千 | 🤗 HuggingFace |
DeepSeek-R1-Zero 和 DeepSeek-R1 基于 DeepSeek-V3-Base 进行训练。有关模型架构的更多详细信息,请参阅DeepSeek-V3存储库。
DeepSeek-R1-Distill 模型
模型 | 基础模型 | 下载 |
---|---|---|
DeepSeek-R1-Distill-Qwen-1.5B | Qwen2.5-Math-1.5B | 🤗 HuggingFace |
DeepSeek-R1-Distill-Qwen-7B | Qwen2.5-Math-7B | 🤗 HuggingFace |
DeepSeek-R1-Distill-Llama-8B | Llama-3.1-8B | 🤗 HuggingFace |
DeepSeek-R1-Distill-Qwen-14B | Qwen2.5-14B | 🤗 HuggingFace |
DeepSeek-R1-Distill-Qwen-32B | Qwen2.5-32B | 🤗 HuggingFace |
DeepSeek-R1-Distill-Llama-70B | Llama-3.3-70B-Instruct | 🤗 HuggingFace |
DeepSeek-R1-Distill 模型基于开源模型进行了微调,使用了 DeepSeek-R1 生成的样本。我们对其配置和分词器进行了轻微更改。请使用我们的设置来运行这些模型。
3. 运行DeepSeek R1
在CMD或Powershell中输入如下命令行启动对应的模型:
ollama run deepseek-r1:XXXb
4. 安装webUI
4.1 在线安装
如果可以联网访问chrome插件官网,可以访问以下链接进行安装:
https://chromewebstore.google.com/detail/page-assist-a-web-ui-for/jfgfiigpkhlkbnfnbobbkinehhfdhndo
4.2 离线安装
如果无法访问chrome官网,可以从网盘链接中下载离线插件:
链接: https://pan.baidu.com/s/13H0a4aBrkL5MOqpBSiYYeQ?pwd=2i9d 提取码: 2i9d
下载完成后,在chrome浏览器地址栏输入chrome://extensions,打开开发者模式,点击加载已解压的扩展程序,添加chrome-mv3,完成安装。
5. 运行webUI
page-assist插件安装完成后,点击插件,选择pageassist,进入本地AI模型的webUI,选择对应的模型开始对话。