FC、NoF+、RoCE存储网络简介

全闪存时代背景下，传统的 FC存储网络（Fibre Channel，网状通道）已经无法满足全闪存数据中心的要求， NVMe存储协议（Non-Volatile Memory express，非易失性内存主机控制器接口规范）的出现极大提升了存储系统内部的存储吞吐性能、降低了传输时延， NoF存储网络（NVMe over Fabric）应运而生。在多种Fabric技术中， NVMe over RoCE （RDMA over Converged Ethernet）被广大存储厂商所接受，成为业界 NoF 的主流。

存储协议从传统串行 SCSI 协议发展到高速并行的 NVMe 协议。新一代存储网络基于 RDMA（Remote Direct Memory Access ，远程直接存储读取）技术，保证了全闪存 NVMe 协议的高吞吐、低时延的特性。

一、FC存储网络特点

FC 存储网络优点：

具备高可靠、稳定低时延的特点：FC 内在的协议机制支持快速故障感知通告（百 ms 级），同时 FC B2B Credit 流控机制带来了稳定低时延性能。

FC存储网络的缺点：

厂商垄断，网络技术封闭：业界唯二国外厂商，存在巨大的业务连续风险
带宽不足，存储性能瓶颈：FC 网络最大只有 32G 带宽，满足不了业务发展需求
运维复杂，依赖原厂支持：FC 运维人员稀缺，运维依赖原厂响应

二、NoF的产生背景：

NVMe over Fabric 中的“ Fabric ”，是 NVMe 的承载网络，这个网络可以是 RoCE、 FC 或 TCP 。具体说明如下：

NVMe over FC 协议标准为 FC-NVMe，FC-NVMe 和 FC-SCSI 同样都基于 FCP，IO 交互基于Exchange。FC-NVMe 基于传统的 FC 网络，通过升级主机驱动和交换机支持，FC-SCSI 和 FC-NVMe 能同时运行在同一个 FC 网络中。FC-NVMe 能最大化继承传统的 FC 网络，复用网络基础设施，基于 FC 物理网络发挥 NVMe 新协议的优势。
NVMe over TCP 基于现有的IP网络，采用 TCP 协议传输 NVMe，在网络基础设施不变的情况下实现了端到端 NVMe。虽然 NVME over TCP 网络性能弱于 FC 和 RoCE，但整体性能通过 NVMe 得到提升，对比 iSCSI 仍有大幅度的提升。而且 NVME over TCP 对网络的要求比较低，具有更强大的兼容性，不需要单独建设无损网络，传统以太网即可支持，因此在不追求高性能的情况下，NVMe over TCP 将是未来市场的普遍选择。
NVMe over RoCE 是 NVMe over RDMA 的一种，RDMA 是承载 NoF 的原生网络协议，RDMA 协议除了 RoCE 外还包括 IB（InfiniBand）和 iWARP（Internet Wide Area RDMA Protocol）。其中，基于以太网的 RoCE 目前已成为 RDMA 的主流网络承载方式。NVMe over RDMA 协议比较简单，直接把 NVMe 的 IO 队列映射到 RDMA QP （ Queue Pair ）连接，通过 RDMA SEND ， RDMA WRITE，RDMA READ 三个语义实现 IO 交互。NVMe over RoCE 基于融合以太网的 RDMA 技术承载 NVMe 协议。