CuPy、CUDA、cuDNN、NCCL概念理解与版本适配

CuPy、CUDA、cuDNN、NCCL概念理解与版本适配

引用

CSDN

1.

https://m.blog.csdn.net/weixin_46678290/article/details/145633469

概念理解

Cupy

• 简介：CuPy 为Python用户提供GPU加速功能，而不需要深入了解底层GPU技术，主要用于在 NVIDIA GPU 上进行高效的数值计算

• 大白话：Cupy是用来使用GPU一系列功能的工具库，和Numpy等工具库一样，用pip安装在conda虚拟环境里

• 网址：https://docs.cupy.dev/

Cuda

• 简介：是操作系统和 NVIDIA GPU 之间的桥梁，负责 GPU 的管理和资源分配，支持 GPU 的各种功能，如内存管理、任务调度等

• 大白话：是操作系统和GPU之间的驱动，安装好了操作系统才能和GPU之间互动

• 网址：https://developer.nvidia.com/cuda-toolkit-archive

cuDNN

• 简介：专门为深度学习任务设计的加速库，为深度学习框架（如 TensorFlow、PyTorch 等）提供了高度优化的原语，如卷积层、池化层、归一化层等操作的高效实现

• 大白话：让GPU对深度学习计算任务进行加速的工具

• 网址：https://developer.nvidia.com/rdp/cudnn-archive

NCCL

• 简介：全称 NVIDIA Collective Communications Library 的全称，即英伟达集体通信库，用于实现多GPU和多节点间性能优化的通信

• 大白话：GPU之间的数据需要send、receive、allreduce等操作时，是基于这个工具库的，主要用于分布式训练

• 网址：https://developer.nvidia.com/nccl

版本适配

• 先确定要使用的Cupy版本，一般选最新发布的，或者比较新的版本，这里以v13.2.0版本为例

• 进入Cupy的官网（https://docs.cupy.dev/en/v13.2.0/install.html），右下角可以切换至对应的版本

• 选择对应版本后，就可以查看CUDA、cuDNN、NVCC的适配版本要求了，根据要求选择即可，这里以Cupy v13.2.0为例，可选择的适配版本如下

Cupy Cuda cuDNN NCCL
13.2.0 11.4 8.8 2.16