RDMA（Remote Direct Memory Access）是一种高性能的I/O传输机制，是一种用于实时数据访问和数据传输的操作系统网络协议，与TCP/IP不同。RDMA专门针对高速网络上频繁、大量、低延迟的数据传输场景，关注的是数据传输效率和延迟，是网络I/O在高性能计算（HPC）和数据中心（DC）中的重要技术。
一、RDMA的原理和特点
RDMA用于实现数据快速传输，与TCP/IP不同，RDMA把普通网络传输中的一系列数据包传输操作整合起来，直接访问内存地址。RDMA可以绕开操作系统协议栈，将数据直接从发送端的内存，通过网络适配卡（NIC），发送到接收端对应的内存中，省去了大量的CPU处理时间，大大提高数据传输的效率。
RDMA的优点在于其低延迟和高吞吐量，以及范围内更高的可靠性和更低的 CPU 利用率。 RDMA技术可以显著减少数据传输的延迟，提高效率，实现更快、更可靠的数据传输。
RDMA还具有子母网之间的互操作性，这意味着可以在不同类型的网络之间使用RDMA。多个子网直接访问相同的内存块，可以提高网络的传输能力。
二、RDMA的应用范围
RDMA技术在高性能计算、数据中心、存储领域等方面有着广泛的应用。
1.高性能计算
在高性能计算中，RDMA技术可以提高计算密集型应用程序的性能，例如科学计算、仿真、气象预测等。在这些应用程序中，数据的传输速度非常重要，RDMA可以提高数据传输的速度，并减少运算时间。
2.存储
在存储领域中，RDMA可以增加存储系统的吞吐量和性能，使数据传输更加快速。
3.虚拟化
虚拟化环境下，RDMA支持快速和高效的I/O操作，提高虚拟网络和存储性能。RDMA技术还可以防止虚拟网络中的I/O资源竞争，并且可以提供共享块存储和SDN等虚拟化架构上的高效数据中心互联。
三、RDMA的实现方式
RDMA有多种实现方式，常见的有IB（InfiniBand）、RoCE（RDMA over Converged Ethernet）和iWARP（Internet Wide Area RDMA Protocol）等。
1.IB（InfiniBand）
IB是一种高速网络技术，专门用于高性能计算和大规模数据中心。IB以点对点互连的方式实现高速和低延迟的I/O传输。由于它的灵活性和可扩展性，IB常用于超算、大规模Hadoop集群、高频交易等应用场景。
2.RoCE（RDMA over Converged Ethernet）
RoCE可以在常见的以太网（Ethernet）网络中实现RDMA技术。它通过在以太网帧头中添加自己的L2和L3头，来实现RDMA转发。RoCE可以使用多种协议，包括IPv4 /v6，TCP /UDP和 IB。
3.iWARP（Internet Wide Area RDMA Protocol）
iWARP是适用于以太网的一种RDMA技术。它使用TCP/IP协议栈，并通过引入新的网络层和传输层协议来实现RDMA传输。iWARP可用于跨越广域网的RDMA，可为远程距离数据传输提供快速和高效的解决方案。
四、RDMA的代码示例
下面是一个基于RoCE协议实现的RDMA代码示例：
#include <stdio.h>
#include <infiniband/verbs.h>
int main(int argc, char *argv[])
{
struct ibv_device **dev_list;
int num_devices, i;
// 获取本地的 RDMA 设备列表
dev_list = ibv_get_device_list(&num_devices);
if (!dev_list) {
fprintf(stderr, "Failed to get device list\n");
return 1;
}
// 遍历 RDMA 设备列表
for (i = 0; i < num_devices; ++i) {
const char *dev_name;
// 获取设备名称
dev_name = ibv_get_device_name(dev_list[i]);
printf("RDMA device %d: %s\n", i, dev_name);
}
ibv_free_device_list(dev_list);
return 0;
}
这个示例程序获取本机上的RDMA设备列表，并输出每个设备的名称。
