rbd-nbd单节点最大限制参数nbds

rbd-nbd单节点最大限制参数nbds_max调整

背景

rbd-nbd的挂载依赖内核的nbd模块，由于nbd模块默认支持16个nbd块设备(nbds_max=16)，如果超过16个会挂载失败，在k8s中，我们通过cephcsi使用ceph rbd镜像作为块存储，当使用rbd-nbd挂载超过最大的16个之后，由于当前阶段已经过了k8s的调度计算，此失败会一直持续下去，这还是小问题，只是一个业务受到影响，可怕的是cephcsi的bug会在当前节点上死循环创建无效的nbd块，nbd17,nbd18,nbd19.......，导致服务器的块设备资源被占满，最终机器上的所有业务都受到影响。为了解决此问题，我们提出两个方案：一、扩展单节点支持的最大nbd块数，解决不够用的问题；二、自定义调度插件，在调度到节点之前对节点的可用nbd数进行判断及打分，保障调度到节点上的可用nbd块数是足够并且各节点的调度是均衡的；

本文主要介绍单节点nbd最大块数的调整操作，特别是把nbd编译到内核的修改方案，小编踩了不少坑，本来要放弃了，最后柳暗花明又一村，特此记录。

nbds_max调整

rbd-nbd挂载ceph镜像基于内核的nbd模块，内核对nbd模块的支持有两种方式：

通过modprobe nbd命令以插件的方式动态加载
内核编译的时候指定CONFIG_BLK_DEV_NBD=y，直接把nbd模块编译到内核中

内核编译方式查看方式：

#方法1
zcat /proc/config.gz | grep CONFIG_BLK_DEV_NBD
#方法2
cat /boot/config-$(uname -r) | grep CONFIG_BLK_DEV_NBD

如果CONFIG_BLK_DEV_NBD=y表示内核编译的时候指定了nbd的编译选项，直接内置到内核中，如果CONFIG_BLK_DEV_NBD=m，表示以插件的方式动态加载

基于动态加载nbd模块的nbds_max调整

通过lsmod | grep nbd 查看是否已加载nbd内核模块，如果返回空，则通过modprobe nbd加载，即可使用rbd-nbd挂载块设备，扩展最大nbd块设备数，修改方法如下：

临时方案

modprobe nbd nbds_max=48，此方式机器重启之后会失效，可以临时添加

永久方案

在 /etc/modprobe.d/nbd.conf中增加options nbd max_part=16 nbds_max=48

max_part：块设备支持的最大分区数，默认值为0，不修改的话部分情况会无法显示分区
nbds_max: nbd设备(即/dev/nbd*)的个数，设备系统默认只有16个，请根据实际情况酌情修改，不能高于255

modprobe nbd 加载nbd模块

rbd-nbd命令行

rbd-nbd --help可以看到此命令是支持--nbds_max参数修改内核支持的最大块数，但是如果已经加载了nbd需要先modprobe -r nbd卸载nbd，否则会提示加载失败，细节可以看rbd-nbd源码。rbd-nbd --nbds_max 64 map rbdpool/images进行扩容挂载镜像，源码里此命令会自动调用modprobe rbd nbds_max=64

基于内置的nbd模块nbds_max调整

由于已经把nbd模块编译到了内核中，无法通过上述modprobe动态加载，需要修改内核启动加载参数，并重启生效

修改grub配置

修改/etc/default/grub在GRUB_CMDLINE_LINUX这行的最后加上nbd.nbds_max=64,修改完/etc/default/grub的配置如下

GRUB_CMDLINE_LINUX="crashkernel=auto rhgb quiet ixgbe.allow_unsupported_sfp=1,1 vsyscall=emulate noibrs noibpb
nopti nospectre_v2 nospectre_v1 l1tf=off nospec_store_bypass_disable no_stf_barrier mds=off cgroup_no_v1=io nbd.
nbds_max=64"