RDMA：两台机器能否让网卡直接搬运注册内存？

RDMA（Remote Direct Memory Access，远程直接内存访问）常被描述为“让一台机器直接读写另一台机器的内存”。这句话抓住了方向，却省略了重要前提：通信两端需要受支持的网卡与软件栈，内存区域通常要先注册，访问权限要明确配置，并通过队列、键值和完成通知管理操作。

把它想成两座仓库之间的自动传送系统。普通网络程序可能让 CPU 频繁参与收包、复制和协议处理；RDMA 则让网卡承担更多数据搬运工作，应用可以提交操作并等待完成，从而减少某些路径上的 CPU 参与和数据复制。对于高性能计算、分布式存储和低延迟集群，这种设计可能非常有吸引力。

以常见的 verbs 接口为例，程序先注册一段内存区域，内核与网卡据此建立必要映射和权限。不同类型的操作具有本地或远端访问要求，远端读写还会涉及远程键等授权信息。接收方并非无条件暴露所有内存；注册范围和访问标志限定了允许操作的边界。硬件传输完成后，程序仍要处理完成队列、错误和数据一致性。

因此，RDMA 并不意味着“CPU 永远不参与”，也不意味着“绕过网络就没有协议与故障”。连接建立、缓冲区注册、内存保护、队列管理、拥塞处理和应用层一致性依然存在。若缓冲区生命周期管理错了，或应用在另一端尚未安全使用数据时就重用内存，仍会产生严重错误。远端 DMA 的安全设计必须把密钥、权限和隔离当成第一等问题。

RDMA 也不是任何网络应用的即插即用升级。设备成本、网络互通、部署运维、错误排查和编程复杂度都需要纳入评估。最有说服力的判断方式，是测量实际应用的 CPU 消耗、吞吐和尾延迟，并将注册与管理开销一并计算，而不是只比较理想状态下的一次数据传输。

它的真正价值，是让网卡能按受控授权直接处理注册内存中的数据，减少某些传统数据路径的中间步骤。越接近硬件，越要把资源生命周期与安全边界设计清楚。

来源：Linux ibv_reg_mr(3) 手册