AMD显卡下DeepSeek大模型本地部署全攻略：问题与步骤详解

AMD显卡下DeepSeek大模型本地部署全攻略：问题与步骤详解

引用

CSDN

1.

https://blog.csdn.net/yijiaotu_000/article/details/145950409

本文将详细介绍在AMD显卡下部署DeepSeek大模型的完整流程，包括环境准备、工具选择与实操、以及工具对接拓展等内容。无论你是AI大模型部署的初学者还是有一定经验的技术人员，都能从本文中获得实用的指导和建议。

一、环境准备：AMD显卡驱动更新

在Win11操作系统下开启DeepSeek大模型的本地部署之旅，首要任务是确保AMD显卡驱动处于适配状态。经实践探索，需将AMD显卡驱动更新至Adrenalin Edition 25.1.1及以上版本，为求更佳兼容性，建议选用25.2.1版本。具体操作步骤如下：

1. 打开AMD官方网站，进入驱动下载页面。
2. 在页面中精准定位到与自己显卡型号匹配且适用于Win11系统的Adrenalin Edition 25.2.1驱动程序下载链接。
3. 下载完成后，运行安装程序，按照提示逐步完成驱动更新，期间需重启电脑以使驱动生效。

二、构建大模型工具抉择与实操

构建DeepSeek大模型时，有两款实用工具可供挑选，各有优劣与操作特点。

（一）LM Studio

这是一款上手相对简单的工具，其操作流程如下：

1. 前往LM Studio官网下载安装包。
2. 下载完成后，双击安装包，依照安装向导指示完成软件安装。
3. 安装完毕打开软件，右下角进入设置界面，修改默认语言与选项
   注意：Use LM Studio's Hugging Face Proxy选项影响大模型资源下载
4. 配置完成后，在软件内置的模型库中选择下载推荐的DeepSeek大模型，耐心等待下载与初步加载过程结束。

• 这个模型会默认下载到C盘，如果空间不够请参考解决Cursor与VSCode扩展占用C盘空间问题将模型文件存放在其他磁盘
• 也可以直接修改模型文件夹路径

1. 依据自身硬件配置（如显卡算力、内存大小等）与使用需求，合理调整各项参数配置，例如模型加载方式、推理优化选项等。
2. 若要实现外部应用对接，还需进一步运行对外的模型服务，使得其他程序能够访问LM Studio中的模型资源，具体操作可参考软件官方文档中的对外服务配置章节。

（二）Ollama

相较于LM Studio，Ollama的操作略显复杂，但功能同样强大，以下是详细步骤：

1. 首先，下载Ollama软件包，下载过程中确保网络稳定，避免文件损坏。
   这里给出的是AMD显卡的安装过程，如果是N卡直接去官网下载，然后安装大模型即可，不需要下列步骤
   ollama-for-amd下载地址
   选中的两个文件都下载
2. 双击OllamaSetup.exe安装至默认目录，安装完成后请按以下流程操作
3. 解压ollama-windows-amd64.7z替换C:\Users\usrname\AppData\Local\Programs\Ollama\lib\ollama中的库，
   注意：解压后的文件层级需要对应上
4. 下载显卡型号对应的压缩包ROCmlibs for 6.1.2------------对应关系地址
   如：我的是6600系显卡
5. 将Ollama程序rocm文件夹中的文件替换为下载压缩包rocm.gfx1032.for.hip.sdk.6.1.2.7z中的rocblas.dll和rocblas/library文件夹
6. 这样就成功让ollama调用你的AMD GPU运行大模型了
7. 配置环境变量，确保系统在任何命令行窗口下都能识别Ollama命令。

• OLLAMA_MODELS：指定模型的存储磁盘位置
• Path：默认为C:\Users\用户名\AppData\Local\Programs\Ollama，若将安装后的Ollama移动到其他磁盘，需要修改为对应文件路径

4. 打开命令行窗口，输入Ollama官网提供的下载大模型命令，deepseek-r1，启动大模型下载流程，依据网络状况与模型大小，此过程可能耗时较长，请耐心等待。
   尝试通过让ModleFile引入LM Studio下载过的gguf模型去create新的deepseek-r1时，模型能运行，但是有部分深度思考内容文本不会传递到调用工具。思考内容在中，目前会吞掉前一个标签。应该是我ModleFile配置的问题
5. 等待模型初始化完成，即可投入使用。

三、工具对接拓展：以ChatBox和Web Ollama为例

完成大模型的本地构建后，为拓展其应用场景，对接各类实用工具至关重要。重点对接了ChatBox和Web Ollama，实现步骤如下：

（一）ChatBox

1. 确保ChatBox软件已完成安装并处于可运行状态，若未安装，前往其官方网站下载对应版本安装包并完成安装。
2. 打开ChatBox设置界面，在模型对接选项中，选择之前通过LM Studio或Ollama构建好的DeepSeek大模型，依据工具提供的对接指引，直接选择运行中的模型即可。
3. 进行一轮简单测试，在ChatBox输入框中输入一些常见问题，观察是否能从DeepSeek大模型获取准确、流畅的回复，若出现问题，依据报错信息回溯检查对接配置是否有误，或模型运行是否正常。

（二）Web

1. 启动本地构建的Ollama服务，并确保其运行稳定，模型加载完毕。
2. 打开支持对接Ollama的Web应用程序，在其设置或配置页面中，找到模型源设置区域。
3. 将模型源指向本地运行的Ollama服务地址，通常为“http://localhost:11434”（端口号依据Ollama配置而定）
4. 也可下载Page Assist插件自动识别Ollama