用 rdma-core 做 RDMA 应用开发一条消息的最小闭环与 5 条性能调优清单【免费下载链接】rdma-coreRDMA core userspace libraries and daemons项目地址: https://gitcode.com/GitHub_Trending/rd/rdma-core⚙️ 内核绕过去之后还剩下什么要做做高性能网络编程时高频交易和分布式存储有个共同矛盾数据要绕开内核直达对端内存可连接建立、内存管理、完成通知这些活全得应用自己接管。rdma-core 是 Linux 内核 InfiniBand 子系统的用户态库RDMA 应用开发基本都从它起步。为什么每条数据都要过一遍内核传统 send/recv 路径要经系统调用、内核拷贝、中断唤醒微秒级延迟常被这些开销吃掉。RDMARemote Direct Memory Access远程直接内存访问让网卡直接读写远端主存内核只在初始化和出错时介入。绕过去之后应用要接管三件事把内存变成网卡可访问的区域、手工搭一条连接通道、自己收取完成通知。这三件事恰好对应下面几个部分。 rdma-core 在栈中的位置rdma-core 的形态是「用户态库 少量守护进程」开发消息收发应用主要碰其中两个库libibverbsibv verbs 的核心接口层设备发现、QP、CQ、MR 的管理都在这对应 /dev/infiniband/uverbsX 设备节点librdmacm通信管理器把 RC 建连封装成类 socket 的流程对应 /dev/infiniband/rdma_cm 节点。硬件驱动的用户态实现在 providers/ 目录运行时按设备自动加载应用不用关心卡是哪家的srp_daemon、iwpmd 等守护进程服务特定上层协议写基本收发应用可以暂时不管。分层清楚了先看一条消息从发起到离开发送队列要经过什么。 一条消息的最小闭环RDMA 内存注册到 ibv_post_send 的五步从发现设备到投递一个工作请求最小路径只有五步struct ibv_device **list ibv_get_device_list(num); /* 1. 发现设备 */ struct ibv_context *ctx ibv_open_device(list[0]); /* 2. 打开上下文 */ struct ibv_pd *pd ibv_alloc_pd(ctx); /* 3. 分配保护域 */ struct ibv_mr *mr ibv_reg_mr(pd, buf, len, /* 4. RDMA 内存注册 */ IBV_ACCESS_LOCAL_WRITE | IBV_ACCESS_REMOTE_READ | IBV_ACCESS_REMOTE_WRITE); ibv_post_send(qp, wr, bad_wr); /* 5. 投递 WR */每一步为什么必须做上下文是应用与网卡之间的会话句柄后续资源都挂在它下面**保护域PD, Protection Domain**是隔离边界MR 与 QP 同属一个 PD 才能互相引用防止越权访问**MRMemory Region内存区域**把普通内存变成网卡可 DMA 的区域访问权限在注册时一次性声明最后 **WRWork Request工作请求**挂上 QP 的发送队列网卡开始搬运。没有 RDMA 硬件时先用 rxe 软设备跑通没有 InfiniBand 或 RoCE 网卡也能练手rdma-core 自带软件 RDMA 驱动。README 给出的步骤是modprobe rdma_rxe再rdma link add NAME type rxe netdev DEVICE在普通网卡上建一个软件设备ibv_devices能列出即成功。协议行为与真实硬件一致只是没有 DMA 带宽。 RC 连接建立可以拆成哪几步**RCReliable Connection可靠连接**类型的 **QPQueue Pair队列对**建连本质是三件事双方各建一个CQCompletion Queue完成队列和 QPQP 创建时绑定 CQ、交换对端标识、把 QP 沿状态机推到可发送/* 1. 双方各自 ibv_create_cq()、ibv_create_qp()attr 里绑定 CQ */ /* 2. 经 TCP 交换四元组lid、qpn、psn、gid */ ibv_modify_qp(qp, attr, IBV_QP_STATE); /* - IBV_QPS_INIT */ ibv_modify_qp(qp, attr, IBV_QP_STATE | IBV_QP_AV | IBV_QP_PATH_MTU | IBV_QP_DEST_QPN | IBV_QP_RQ_PSN); /* - IBV_QPS_RTR */ ibv_modify_qp(qp, attr, IBV_QP_STATE); /* - IBV_QPS_RTS */状态机是 INIT → RTR能收→ RTS能发每步ibv_modify_qp填的参数不同INIT 定端口与 P_KeyRTR 填 path_mtu、远端 qpn 与 rq_psn到 RTS 才允许ibv_post_send。四元组交换走 TCP socket 即可libibverbs/examples/ 里的 rc_pingpong.c 就是这么做的嫌手工建连麻烦也可以整体换成 librdmacm 代劳。消息能发了接下来是让它发得快。 RDMA 性能调优5 条直接见效的习惯做法为什么WR 链式批量投递一次ibv_post_send挂多个摊薄每个 WR 的用户态处理开销网卡按序流水线执行批量里只给末尾 WR 加IBV_SIGNAL_POST_SEND非信号化 WR 不产生完成事件省完成队列轮询与内存屏障MR 注册一次长期复用数据原地换reg_mr 要在内核 pin 内存高频注册/注销是明显热点缓冲区按 4KB 页或设备建议粒度对齐DMA 描述符跨页少避免拆分CQ 深度按「在途 WR 数」规划深度不够丢完成给得过大则轮询空转全信号还是全非信号低速率调试全信号方便定位打满带宽就常用「每 N 个 WR 信号一个」。️ 踩坑与排查QP ERR、MR 注册失败与完成队列溢出三个高频问题按「现象 → 根因 → 对策」列QP 进入 ERR 状态现象ibv_post_send开始失败ibv_query_qp显示 IBV_QPS_ERR根因RTR 阶段参数双方不一致MTU、lid/gid、PSN 对不上或远端 RNR 超时对策先核对建连时交换的四元组再用 wc.status 区分 RNR 还是 transport 错误。MR 注册失败ibv_reg_mr 返回 NULL现象大块缓冲区注册失败小内存正常根因地址未页对齐、超出设备单次注册上限或申请了设备不支持的访问位对策对齐到页边界、拆段注册ibv_query_device看 max_mr_size 与 caps。完成事件迟迟不来现象收端拿不到 WC或收到 IBV_WC_CQ_ERR根因轮询频率跟不上 WR 完成速度完成队列被新完成冲掉对策CQ 深度 ≥ 在途 WR 数用ibv_poll_cq批量取。排查入口两个命令ibv_devinfo看设备、端口与 GID 表是否正常perfquery看计数器里重传、RNR 是否上涨。 往哪里继续走示例代码libibverbs/examples/从 rc_pingpong.c 读到 srq_pingpong.c能覆盖 send/recv、SRQ、事件通知三种模型Verbs 完整 API 声明libibverbs/verbs.h每个函数前都有注释说明参数项目文档Documentation/rxe.md 讲软设备配置testing.md 讲测试方法。下一步先bash build.sh构建仓库把 build/bin 里的 rc_pingpong 在一台或两台机器上跑通再逐层往自己的应用上加功能。【免费下载链接】rdma-coreRDMA core userspace libraries and daemons项目地址: https://gitcode.com/GitHub_Trending/rd/rdma-core创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/21 11:11:06 · 阅读 1.2k 用 rdma-core 做 RDMA 应用开发：一条消息的最小闭环与 5 条性能调优清单
用 rdma-core 做 RDMA 应用开发一条消息的最小闭环与 5 条性能调优清单【免费下载链接】rdma-coreRDMA core userspace libraries and daemons项目地址: https://gitcode.com/GitHub_Trending/rd/rdma-core⚙️ 内核绕过去之后还剩下什么要做做高性能网络编程时高频交易和分布式存储有个共同矛盾数据要绕开内核直达对端内存可连接建立、内存管理、完成通知这些活全得应用自己接管。rdma-core 是 Linux 内核 InfiniBand 子系统的用户态库RDMA 应用开发基本都从它起步。为什么每条数据都要过一遍内核传统 send/recv 路径要经系统调用、内核拷贝、中断唤醒微秒级延迟常被这些开销吃掉。RDMARemote Direct Memory Access远程直接内存访问让网卡直接读写远端主存内核只在初始化和出错时介入。绕过去之后应用要接管三件事把内存变成网卡可访问的区域、手工搭一条连接通道、自己收取完成通知。这三件事恰好对应下面几个部分。 rdma-core 在栈中的位置rdma-core 的形态是「用户态库 少量守护进程」开发消息收发应用主要碰其中两个库libibverbsibv verbs 的核心接口层设备发现、QP、CQ、MR 的管理都在这对应 /dev/infiniband/uverbsX 设备节点librdmacm通信管理器把 RC 建连封装成类 socket 的流程对应 /dev/infiniband/rdma_cm 节点。硬件驱动的用户态实现在 providers/ 目录运行时按设备自动加载应用不用关心卡是哪家的srp_daemon、iwpmd 等守护进程服务特定上层协议写基本收发应用可以暂时不管。分层清楚了先看一条消息从发起到离开发送队列要经过什么。 一条消息的最小闭环RDMA 内存注册到 ibv_post_send 的五步从发现设备到投递一个工作请求最小路径只有五步struct ibv_device **list ibv_get_device_list(num); /* 1. 发现设备 */ struct ibv_context *ctx ibv_open_device(list[0]); /* 2. 打开上下文 */ struct ibv_pd *pd ibv_alloc_pd(ctx); /* 3. 分配保护域 */ struct ibv_mr *mr ibv_reg_mr(pd, buf, len, /* 4. RDMA 内存注册 */ IBV_ACCESS_LOCAL_WRITE | IBV_ACCESS_REMOTE_READ | IBV_ACCESS_REMOTE_WRITE); ibv_post_send(qp, wr, bad_wr); /* 5. 投递 WR */每一步为什么必须做上下文是应用与网卡之间的会话句柄后续资源都挂在它下面**保护域PD, Protection Domain**是隔离边界MR 与 QP 同属一个 PD 才能互相引用防止越权访问**MRMemory Region内存区域**把普通内存变成网卡可 DMA 的区域访问权限在注册时一次性声明最后 **WRWork Request工作请求**挂上 QP 的发送队列网卡开始搬运。没有 RDMA 硬件时先用 rxe 软设备跑通没有 InfiniBand 或 RoCE 网卡也能练手rdma-core 自带软件 RDMA 驱动。README 给出的步骤是modprobe rdma_rxe再rdma link add NAME type rxe netdev DEVICE在普通网卡上建一个软件设备ibv_devices能列出即成功。协议行为与真实硬件一致只是没有 DMA 带宽。 RC 连接建立可以拆成哪几步**RCReliable Connection可靠连接**类型的 **QPQueue Pair队列对**建连本质是三件事双方各建一个CQCompletion Queue完成队列和 QPQP 创建时绑定 CQ、交换对端标识、把 QP 沿状态机推到可发送/* 1. 双方各自 ibv_create_cq()、ibv_create_qp()attr 里绑定 CQ */ /* 2. 经 TCP 交换四元组lid、qpn、psn、gid */ ibv_modify_qp(qp, attr, IBV_QP_STATE); /* - IBV_QPS_INIT */ ibv_modify_qp(qp, attr, IBV_QP_STATE | IBV_QP_AV | IBV_QP_PATH_MTU | IBV_QP_DEST_QPN | IBV_QP_RQ_PSN); /* - IBV_QPS_RTR */ ibv_modify_qp(qp, attr, IBV_QP_STATE); /* - IBV_QPS_RTS */状态机是 INIT → RTR能收→ RTS能发每步ibv_modify_qp填的参数不同INIT 定端口与 P_KeyRTR 填 path_mtu、远端 qpn 与 rq_psn到 RTS 才允许ibv_post_send。四元组交换走 TCP socket 即可libibverbs/examples/ 里的 rc_pingpong.c 就是这么做的嫌手工建连麻烦也可以整体换成 librdmacm 代劳。消息能发了接下来是让它发得快。 RDMA 性能调优5 条直接见效的习惯做法为什么WR 链式批量投递一次ibv_post_send挂多个摊薄每个 WR 的用户态处理开销网卡按序流水线执行批量里只给末尾 WR 加IBV_SIGNAL_POST_SEND非信号化 WR 不产生完成事件省完成队列轮询与内存屏障MR 注册一次长期复用数据原地换reg_mr 要在内核 pin 内存高频注册/注销是明显热点缓冲区按 4KB 页或设备建议粒度对齐DMA 描述符跨页少避免拆分CQ 深度按「在途 WR 数」规划深度不够丢完成给得过大则轮询空转全信号还是全非信号低速率调试全信号方便定位打满带宽就常用「每 N 个 WR 信号一个」。️ 踩坑与排查QP ERR、MR 注册失败与完成队列溢出三个高频问题按「现象 → 根因 → 对策」列QP 进入 ERR 状态现象ibv_post_send开始失败ibv_query_qp显示 IBV_QPS_ERR根因RTR 阶段参数双方不一致MTU、lid/gid、PSN 对不上或远端 RNR 超时对策先核对建连时交换的四元组再用 wc.status 区分 RNR 还是 transport 错误。MR 注册失败ibv_reg_mr 返回 NULL现象大块缓冲区注册失败小内存正常根因地址未页对齐、超出设备单次注册上限或申请了设备不支持的访问位对策对齐到页边界、拆段注册ibv_query_device看 max_mr_size 与 caps。完成事件迟迟不来现象收端拿不到 WC或收到 IBV_WC_CQ_ERR根因轮询频率跟不上 WR 完成速度完成队列被新完成冲掉对策CQ 深度 ≥ 在途 WR 数用ibv_poll_cq批量取。排查入口两个命令ibv_devinfo看设备、端口与 GID 表是否正常perfquery看计数器里重传、RNR 是否上涨。 往哪里继续走示例代码libibverbs/examples/从 rc_pingpong.c 读到 srq_pingpong.c能覆盖 send/recv、SRQ、事件通知三种模型Verbs 完整 API 声明libibverbs/verbs.h每个函数前都有注释说明参数项目文档Documentation/rxe.md 讲软设备配置testing.md 讲测试方法。下一步先bash build.sh构建仓库把 build/bin 里的 rc_pingpong 在一台或两台机器上跑通再逐层往自己的应用上加功能。【免费下载链接】rdma-coreRDMA core userspace libraries and daemons项目地址: https://gitcode.com/GitHub_Trending/rd/rdma-core创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考