问小白 wenxiaobai
资讯
历史
科技
环境与自然
成长
游戏
财经
文学与艺术
美食
健康
家居
文化
情感
汽车
三农
军事
旅行
运动
教育
生活
星座命理

零基础教程:在低配置电脑上部署DeepSeek-r1大模型

创作时间:
作者:
@小白创作中心

零基础教程:在低配置电脑上部署DeepSeek-r1大模型

引用
CSDN
1.
https://deepseek.csdn.net/67ab1d5479aaf67875cb98d6.html

本文将详细介绍如何在低配置电脑(甚至无显卡)上部署DeepSeek-r1大模型。从下载、安装到运行,手把手教你轻松驾驭从1.5b到671b不同参数规模的模型。

第一步:下载模型

首先,你需要从官方网站下载适合你需求的DeepSeek-r1模型。如果遇到下载困难,可以关注并私信获取云盘链接,云盘中包含从1.5b到671b不同参数规模的模型文件。

第二步:安装Ollama

下载完成后,直接运行OllamaSetup.exe进行安装。安装过程简单,只需点击“Install”即可。

第三步:验证安装

安装完成后,打开命令行输入以下命令来验证是否安装成功:

ollama -v

如果显示Ollama版本信息,则说明安装成功。

第四步:运行大模型

根据你的需求选择合适的模型进行运行。以下是不同参数规模模型的运行命令:

1.5b:ollama run deepseek-r1:1.5b
7b:ollama run deepseek-r1:7b
8b:ollama run deepseek-r1:8b
14b:ollama run deepseek-r1:14b
32b:ollama run deepseek-r1:32b
70b:ollama run deepseek-r1:70b
671b:ollama run deepseek-r1:671b

系统会自动开始下载模型,下载完成后会显示“Send a message”,此时即可开始使用。

第五步:选择合适的模型

如何判断你的电脑可以安装哪个大模型?请参考下图:

根据你的显存和内存剩余空间,选择合适的模型进行部署。

第六步:使用虚拟内存运行大模型

如果内存不足,可以通过设置虚拟内存来运行更大模型。以下是具体步骤:

  1. 右键点击“我的电脑”,选择“属性”
  2. 选择“高级系统设置”
  3. 点击“高级”选项卡下的“设置”
  4. 选择“高级”选项卡
  5. 点击“性能”区域的“设置”
  6. 选择“高级”选项卡
  7. 点击“虚拟内存”区域的“更改”

下图是运行671b模型的配置示例:

不同参数量模型所需的虚拟内存数值如下:

第七步:虚拟内存运行的注意事项

使用虚拟内存运行大模型,尤其是671b这样的大规模模型时,推理速度会显著降低。这是因为推理速度的快慢顺序为:GPU+显存 > CPU+内存 > CPU+虚拟内存。

虽然虚拟内存方案在实际应用中可能无法达到理想的生产力效率,但它提供了一个低成本测试和体验大规模模型的途径。通过这种方式,你可以先测试模型是否满足需求,再决定是否投资购买专业设备。

© 2023 北京元石科技有限公司 ◎ 京公网安备 11010802042949号