一文读懂RDMA：远程直接内存访问技术详解

创作时间:

作者:

@小白创作中心

一文读懂RDMA：远程直接内存访问技术详解

引用

CSDN

https://blog.csdn.net/myTomorrow_better/article/details/138949429

RDMA（Remote Direct Memory Access，远程直接内存访问）是一种高效的网络通信技术，允许网络中的一台机器直接读写另一台机器的内存，而无需操作系统和CPU的过多介入。这种技术可以极大地提高网络通信的效率和性能，特别适用于高性能计算、大数据处理、分布式存储等场景。本文将从基本原理、主要特点、编程接口等多个维度对RDMA进行详细的阐述，并通过代码示例帮助读者更好地理解RDMA的实现方式。

一、RDMA的基本原理

RDMA的基本原理是，通过硬件（如RDMA网卡）直接在应用程序的内存之间搬移数据，绕过了操作系统的网络协议栈，从而避免了数据在用户空间和内核空间之间多次拷贝的开销，以及上下文切换的开销。RDMA操作可以看作是硬件执行的远程内存读写操作，因此具有非常高的性能。

二、RDMA的主要特点

零拷贝：RDMA可以直接将数据从发送方的内存传输到接收方的内存，无需在内核和用户空间之间进行数据拷贝。
低延迟：由于绕过了操作系统的网络协议栈，RDMA可以实现微秒级的低延迟通信。
高带宽利用率：RDMA可以有效地利用网络的带宽，提高数据传输的效率。
CPU卸载：RDMA操作大部分由硬件完成，大大减轻了CPU的负担。

三、RDMA的编程接口

RDMA的编程接口主要包括Verbs API和RDMA CM（Connection Manager）API。Verbs API提供了一套完整的RDMA操作函数，包括内存注册、队列对（Queue Pair, QP）的创建和管理、数据发送和接收等。RDMA CM API则提供了一套用于建立和管理RDMA连接的功能。

四、RDMA的代码演示

下面是一个简单的RDMA客户端和服务器的代码演示。这个例子中，客户端向服务器发送一个消息，服务器接收到消息后回复一个确认。

服务器端代码：

#include <infiniband/verbs.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>

int main() {
    // 初始化RDMA设备和资源...
    // 省略初始化代码...

    // 创建并配置队列对（QP）...
    // 省略QP创建和配置代码...

    // 等待接收消息...
    while (1) {
        // 接收消息...
        // 省略接收代码...

        printf("Received message: %s\n", received_message);

        // 发送确认消息...
        // 省略发送代码...
    }

    // 清理资源并退出...
    // 省略清理代码...

    return 0;
}

客户端代码：

#include <infiniband/verbs.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>

int main() {
    // 初始化RDMA设备和资源...
    // 省略初始化代码...

    // 创建并配置队列对（QP）...
    // 省略QP创建和配置代码...

    // 发送消息到服务器...
    char *message = "Hello, RDMA!";
    // 省略发送代码...

    // 等待并接收服务器的确认消息...
    // 省略接收代码...

    printf("Received acknowledgment from server.\n");

    // 清理资源并退出...
    // 省略清理代码...

    return 0;
}

以上代码只是示例性质的伪代码，真实的RDMA编程需要更多的初始化和配置工作，包括设备查询、内存注册、队列对的创建和配置等。具体的RDMA编程细节可以参考相关的RDMA编程指南和文档。