GPU架构与CUDA编程模型详解

GPU架构与CUDA编程模型详解

引用

CSDN

1.

https://blog.csdn.net/qq_64091900/article/details/143472200

随着人工智能和高性能计算的快速发展，GPU（图形处理器）和CUDA（Compute Unified Device Architecture）编程模型已成为重要的技术基础。本文将详细介绍GPU的体系结构和CUDA编程模型，帮助读者深入理解GPU的工作原理和编程方法。

GPU架构与CUDA编程模型

1. GPU体系结构

1.1 计算单元组织架构

1.2 存储层次架构

1. 不同SM能够访问相同的L2 Cache
2. 显存与缓存之间的带宽极高，但是相比GPU的运算能力仍然有瓶颈

2. CUDA编程模型

2.1 CUDA程序简述

1. CUDA程序的两部分

2. Kernel即在GPU上运行的函数，如下简单内核定义示例

//通过__global__关键字声明内核函数
__global__ void VecAdd(float* A, float* B, float* C)
{
   int i = threadIdx.x;
   C[i] = A[i] + B[i];
}
int main()
{
   //通过<<<...>>>中参数指定执行kernel的CUDA thread数量
   VecAdd<<<1, N>>>(A, B, C); 
}

2.2 线程并行执行架构

1. 线程层次

2. 线程在计算单元的映射：线程层次↔ 层次对应 GPU

• 注意SM和Block不必1v1对应也可Nv1对应

3. 线程在存储单元的映射

3. CPU与GPU

3.1 CPU/GPU结构对比

3.2 CPU ↔ 数据 / 指令传输 PCIe GPU交互