Ollama开启GPU加速与NVIDIA驱动安装指南
Ollama开启GPU加速与NVIDIA驱动安装指南
Ollama开启GPU加速可以显著提升大语言模型的运行效率和性能。本文将详细介绍如何检查Ollama是否已开启GPU加速,以及如何安装NVIDIA驱动并配置CUDA库路径,以实现GPU加速功能。
一、检查Ollama是否开启GPU加速
启动Ollama服务并检查日志,在WSL命令行中执行以下命令:
OLLAMA_DEBUG=1 ollama serve
预期会输出一段较长日志,检查日志是否包含以下关键信息:
- library=cuda
- compute=8.6
- variant=v12
- driver=12.8
日志解读示例:
time=2025-03-09T10:30:00.176+08:00 level=DEBUG source=gpu.go:125 msg="detected GPUs" count=1 library=/usr/lib/wsl/lib/libcuda.so
含义:在路径 /usr/lib/wsl/lib/libcuda.so
,检测到 1 块 NVIDIA GPU,并加载了 WSL 自带的 CUDA 12.8 库。
[GPU-cbb00053-655d-c435-004e-241491c5a80c] CUDA totalMem 4095 mb
[GPU-cbb00053-655d-c435-004e-241491c5a80c] CUDA freeMem 3304 mb
含义:显存总量为 4095 MB(即 4GB),可用显存 3304 MB,表明 Ollama 已为 GPU 分配显存。
[GPU-cbb00053-655d-c435-004e-241491c5a80c] Compute Capability 8.6
含义:Compute Capability 8.6对应的是NVIDIA RTX 30系列显卡,这说明Ollama正确识别了GPU的计算能力,并且支持CUDA 12.x版本。
如果日志中包含上述关键信息,说明GPU加速已生效。
二、下载最新版本的NVIDIA驱动
前往NVIDIA官网下载驱动程序:
选择对应自己电脑的GPU型号和操作系统版本,点击开始搜索。建议选择Studio驱动,它专为创作和开发优化,通常包含完整的WSL支持。
搜索结果中,选择最新的版本,点击获取下载。
三、安装驱动
以管理员权限运行驱动安装程序,即刚刚下载好的.exe文件(文件名形如536.99-desktop-win10-win11-64bit-international-dch-whql.exe)。点击OK,等待完成即可。
在安装过程中,选择第二个图形驱动程序,选择自定义安装,并勾选执行清洁程序。
四、配置CUDA库路径
- 确认WSL自带CUDA库位置,在WSL中执行以下命令:
ls /usr/lib/wsl/lib
确认存在libcuda.so
、libcuda.so.1
等关键桥接库文件。
- 配置环境变量,在WSL中执行以下命令:
nano ~/.bashrc
在文件最后添加以下代码:
# 优先使用WSL自带的CUDA库
export LD_LIBRARY_PATH=/usr/lib/wsl/lib:$LD_LIBRARY_PATH
保存并退出nano编辑器:
- 按Ctrl + O(写入更改)
- 按Enter确认文件名
- 再按Ctrl + X退出编辑器
五、配置Ollama的GPU支持
- 复制并移动CUDA库文件,Ollama的CUDA库通常位于
lib/ollama/cuda_v12
或类似目录中。在WSL中执行以下命令:
# 创建Ollama库目录
sudo mkdir -p /usr/local/lib/ollama
# 复制CUDA v12库(假设你使用CUDA 12)
sudo cp -r ~/lib/ollama/cuda_v12 /usr/local/lib/ollama/
- 修改环境变量文件,在WSL中执行以下命令:
nano ~/.bashrc
在文件最后添加以下代码:
export LD_LIBRARY_PATH=/usr/local/lib/ollama/cuda_v12:$LD_LIBRARY_PATH
保存并退出nano编辑器:
- 按Ctrl + O(写入更改)
- 按Enter确认文件名
- 再按Ctrl + X退出编辑器
六、重启WSL和Ollama服务并验证GPU加速
最后,再次检查GPU加速是否生效:
启动Ollama服务并检查日志,在WSL命令行中执行以下命令:
OLLAMA_DEBUG=1 ollama serve
检查日志是否包含以下关键信息:
- library=cuda
- compute=8.6
- variant=v12
- driver=12.8
如果可以在日志中找到上述关键内容,说明已经成功开启Ollama的GPU加速。