问小白 wenxiaobai
资讯
历史
科技
环境与自然
成长
游戏
财经
文学与艺术
美食
健康
家居
文化
情感
汽车
三农
军事
旅行
运动
教育
生活
星座命理

Ollama开启GPU加速与NVIDIA驱动安装指南

创作时间:
2025-03-16 02:34:12
作者:
@小白创作中心

Ollama开启GPU加速与NVIDIA驱动安装指南

引用
CSDN
1.
https://m.blog.csdn.net/m0_74158049/article/details/146127236

Ollama开启GPU加速可以显著提升大语言模型的运行效率和性能。本文将详细介绍如何检查Ollama是否已开启GPU加速,以及如何安装NVIDIA驱动并配置CUDA库路径,以实现GPU加速功能。

一、检查Ollama是否开启GPU加速

启动Ollama服务并检查日志,在WSL命令行中执行以下命令:

OLLAMA_DEBUG=1 ollama serve

预期会输出一段较长日志,检查日志是否包含以下关键信息:

  • library=cuda
  • compute=8.6
  • variant=v12
  • driver=12.8

日志解读示例:

time=2025-03-09T10:30:00.176+08:00 level=DEBUG source=gpu.go:125 msg="detected GPUs" count=1 library=/usr/lib/wsl/lib/libcuda.so

含义:在路径 /usr/lib/wsl/lib/libcuda.so,检测到 1 块 NVIDIA GPU,并加载了 WSL 自带的 CUDA 12.8 库。

[GPU-cbb00053-655d-c435-004e-241491c5a80c] CUDA totalMem 4095 mb
[GPU-cbb00053-655d-c435-004e-241491c5a80c] CUDA freeMem 3304 mb

含义:显存总量为 4095 MB(即 4GB),可用显存 3304 MB,表明 Ollama 已为 GPU 分配显存。

[GPU-cbb00053-655d-c435-004e-241491c5a80c] Compute Capability 8.6

含义:Compute Capability 8.6对应的是NVIDIA RTX 30系列显卡,这说明Ollama正确识别了GPU的计算能力,并且支持CUDA 12.x版本。

如果日志中包含上述关键信息,说明GPU加速已生效。

二、下载最新版本的NVIDIA驱动

前往NVIDIA官网下载驱动程序:

NVIDIA GeForce 驱动程序

选择对应自己电脑的GPU型号和操作系统版本,点击开始搜索。建议选择Studio驱动,它专为创作和开发优化,通常包含完整的WSL支持。

搜索结果中,选择最新的版本,点击获取下载。

三、安装驱动

以管理员权限运行驱动安装程序,即刚刚下载好的.exe文件(文件名形如536.99-desktop-win10-win11-64bit-international-dch-whql.exe)。点击OK,等待完成即可。

在安装过程中,选择第二个图形驱动程序,选择自定义安装,并勾选执行清洁程序。

四、配置CUDA库路径

  1. 确认WSL自带CUDA库位置,在WSL中执行以下命令:
ls /usr/lib/wsl/lib

确认存在libcuda.solibcuda.so.1等关键桥接库文件。

  1. 配置环境变量,在WSL中执行以下命令:
nano ~/.bashrc

在文件最后添加以下代码:

# 优先使用WSL自带的CUDA库
export LD_LIBRARY_PATH=/usr/lib/wsl/lib:$LD_LIBRARY_PATH

保存并退出nano编辑器:

  • 按Ctrl + O(写入更改)
  • 按Enter确认文件名
  • 再按Ctrl + X退出编辑器

五、配置Ollama的GPU支持

  1. 复制并移动CUDA库文件,Ollama的CUDA库通常位于lib/ollama/cuda_v12或类似目录中。在WSL中执行以下命令:
# 创建Ollama库目录
sudo mkdir -p /usr/local/lib/ollama

# 复制CUDA v12库(假设你使用CUDA 12)
sudo cp -r ~/lib/ollama/cuda_v12 /usr/local/lib/ollama/
  1. 修改环境变量文件,在WSL中执行以下命令:
nano ~/.bashrc

在文件最后添加以下代码:

export LD_LIBRARY_PATH=/usr/local/lib/ollama/cuda_v12:$LD_LIBRARY_PATH

保存并退出nano编辑器:

  • 按Ctrl + O(写入更改)
  • 按Enter确认文件名
  • 再按Ctrl + X退出编辑器

六、重启WSL和Ollama服务并验证GPU加速

最后,再次检查GPU加速是否生效:

启动Ollama服务并检查日志,在WSL命令行中执行以下命令:

OLLAMA_DEBUG=1 ollama serve

检查日志是否包含以下关键信息:

  • library=cuda
  • compute=8.6
  • variant=v12
  • driver=12.8

如果可以在日志中找到上述关键内容,说明已经成功开启Ollama的GPU加速。

© 2023 北京元石科技有限公司 ◎ 京公网安备 11010802042949号