问小白 wenxiaobai
资讯
历史
科技
环境与自然
成长
游戏
财经
文学与艺术
美食
健康
家居
文化
情感
汽车
三农
军事
旅行
运动
教育
生活
星座命理

Deepseek本地化部署指南

创作时间:
作者:
@小白创作中心

Deepseek本地化部署指南

引用
CSDN
1.
https://m.blog.csdn.net/weixin_42518660/article/details/145417568

本文将为你详细介绍Deepseek的本地化部署过程,包括Ollama的安装、DeepSeek R1模型的下载与运行,以及WebUI的安装和使用。通过本文,你将能够快速掌握在本地环境中部署和使用Deepseek的方法。

1. 安装Ollama

首先需要访问Ollama官网(Ollama),点击“Download”,根据你的操作系统(Windows、macOS或Linux)下载对应的安装包。

下载完成后,双击安装包文件“OllamaSetup.exe”完成安装。安装完成后,启动CMD或Powershell,输入以下命令验证是否安装成功:

ollama --version

如果显示版本信息,说明安装成功:

PS C:\WINDOWS\system32> ollama --version
ollama version is 0.5.7
PS C:\WINDOWS\system32>

2. 下载DeepSeek R1

模型下载地址是deepseek-r1,可以根据自己的显存配置下载对应的模型。也可以直接使用ollama指令来下载对应的模型,具体建议如下:

  • 4GB以下显存:建议使用1.5B模型
  • 8-12GB显存:建议使用14B以下模型

以下是具体的下载命令:

ollama run deepseek-r1:1.5b
ollama run deepseek-r1:7b
ollama run deepseek-r1:8b
ollama run deepseek-r1:14b
ollama run deepseek-r1:32b
ollama run deepseek-r1:70b
ollama run deepseek-r1:671b

使用ollama指令下载后会直接运行,可以使用ctrl+z退出,使用ollama list查看本地已经下载的模型:

ollama list

延展阅读:其他模型下载

DeepSeek-R1

模型
总参数
已激活参数
上下文长度
下载
DeepSeek-R1-Zero
671B
37B
128千
🤗 HuggingFace
DeepSeek-R1
671B
37B
128千
🤗 HuggingFace

DeepSeek-R1-Zero 和 DeepSeek-R1 基于 DeepSeek-V3-Base 进行训练。有关模型架构的更多详细信息,请参阅DeepSeek-V3存储库。

DeepSeek-R1-Distill 模型

模型
基础模型
下载
DeepSeek-R1-Distill-Qwen-1.5B
Qwen2.5-Math-1.5B
🤗 HuggingFace
DeepSeek-R1-Distill-Qwen-7B
Qwen2.5-Math-7B
🤗 HuggingFace
DeepSeek-R1-Distill-Llama-8B
Llama-3.1-8B
🤗 HuggingFace
DeepSeek-R1-Distill-Qwen-14B
Qwen2.5-14B
🤗 HuggingFace
DeepSeek-R1-Distill-Qwen-32B
Qwen2.5-32B
🤗 HuggingFace
DeepSeek-R1-Distill-Llama-70B
Llama-3.3-70B-Instruct
🤗 HuggingFace

DeepSeek-R1-Distill 模型基于开源模型进行了微调,使用了 DeepSeek-R1 生成的样本。我们对其配置和分词器进行了轻微更改。请使用我们的设置来运行这些模型。

3. 运行DeepSeek R1

在CMD或Powershell中输入如下命令行启动对应的模型:

ollama run deepseek-r1:XXXb

4. 安装webUI

4.1 在线安装

如果可以联网访问chrome插件官网,可以访问以下链接进行安装:

https://chromewebstore.google.com/detail/page-assist-a-web-ui-for/jfgfiigpkhlkbnfnbobbkinehhfdhndo

4.2 离线安装

如果无法访问chrome官网,可以从网盘链接中下载离线插件:

链接: https://pan.baidu.com/s/13H0a4aBrkL5MOqpBSiYYeQ?pwd=2i9d 提取码: 2i9d

下载完成后,在chrome浏览器地址栏输入chrome://extensions,打开开发者模式,点击加载已解压的扩展程序,添加chrome-mv3,完成安装。

5. 运行webUI

page-assist插件安装完成后,点击插件,选择pageassist,进入本地AI模型的webUI,选择对应的模型开始对话。

© 2023 北京元石科技有限公司 ◎ 京公网安备 11010802042949号