Flex刀箱配置与远程装系统实战:CMM/IMM地址、ISO映射与RAID 简介《Flex刀箱配置》是一份面向数据中心运维人员、系统集成工程师及服务器实施初学者的操作型文档聚焦IBM Flex System模块化刀箱的集中管理与配置落地。内容围绕CMM管理、EN2092网络模块、刀片IMM管理、网络连通性、RAID创建、操作系统安装及I/O模块参数设置展开并给出192.168.70.100等管理地址与登录方式便于按图索骥完成设备初始化、节点纳管与远程呈现操作。资源包仅含1个docx文件大小约6.37MB结构紧凑适合作为现场实施与故障排查的速查手册。目前已有646人学习读者可从中获取刀箱IP规划、RAID 1配置、ISO镜像映射及固件维护等关键步骤的参考也能借助节点管理与I/O模块设置思路快速搭建实验或生产环境。文档还提示了IBM售后与实施工程师联系方式可作为运维支持补充。1. Flex 刀箱配置之前先把 12 个管理地址排成一张表第一次接手 Flex 刀箱配置翻车的往往不是界面点错而是网线插上以后才发现 12 个管理地址里有一半是出厂默认、另一半被上一任改过。Flex System 刀箱的配置说穿了就三件事把 CMM、网络模块、每片刀片的 IMM 排进同一张地址表用 CMM 的远程呈现把 ISO 送进刀片在阵列卡上把 RAID 建好、把引导顺序定死。这套流程适合第一次接触模块化刀箱的运维、系统集成实施也适合现场只有一个人、但要把装系统这一步远程做掉的场景。下面按实际走一遍的顺序写地址和默认凭据都以出厂状态为准遇到和现场对不上的先别改翻到第 5 章对着排查。2. CMM 与 IMM 的地址规划三层管理口怎么排、怎么验Flex 刀箱的管理地址不是一个平面而是三层刀箱自己的 CMM、插在后面的网络模块、每片刀片各自的 IMM。三层混在一个段里不是不能通但一旦出问题你没法从地址反推是哪一层挂了。我一般的做法是先按层级切段再在这个段里做连续编址最后才插网线。2.1 CMM、网络模块、IMM三层管理地址别混用CMM 是整个刀箱的总控管电源、风扇、槽位、固件、节点开关机也是你登录后看到一切模块状态的入口。网络模块是刀片对外的交换平面负责刀片之间的内部通信和上联出口。IMM 则是每片刀片自带的带外管理独立于操作系统负责单台服务器的远程开关机、远程控制台和硬件告警。管理对象典型地址访问方式作用范围默认凭据CMM 管理模块192.168.70.100HTTPS整机箱USERID / Passw0rd网络模块 A192.168.70.120HTTPS内部交换与出口USERID / PASSW0RD网络模块 B192.168.70.121HTTPS冗余交换与出口USERID / PASSW0RD刀片 1~10 的 IMM192.168.70.101 ~ .110HTTPS单刀片随机标签或统一口令这张表建议在动手前就写在纸上或者文档里尤其是默认凭据那一列。CMM 的默认密码是Passw0rd中间是数字零网络模块的默认密码是全大写的PASSW0RD。两者只差大小写但在现场急起来的时候输错一次就会以为是模块坏了这个坑后面还会提。地址段的划分逻辑是.100留给 CMM 当管理入口.101到.110连续分配给十片刀片的 IMM.120和.121给两个网络模块。这样做的原因是地址本身携带了位置信息——看到.107就知道是第七号槽位的刀片看到.121就知道是 B 面网络模块不用再去查台账。掩码统一用/24管理网段不需要划得太细刀箱内部的管理流量很小。2.2 刀片 IMM 连续编址从 .101 排到 .110十片刀片的 IMM 按槽位顺序连续编址这是出厂常见做法也是后面批量验证的基础。下面这张表可以直接抄成现场记录表刀片槽位IMM 管理地址备注刀片 1192.168.70.101槽位 1刀片 2192.168.70.102槽位 2刀片 3192.168.70.103槽位 3刀片 4192.168.70.104槽位 4刀片 5192.168.70.105槽位 5刀片 6192.168.70.106槽位 6刀片 7192.168.70.107槽位 7刀片 8192.168.70.108槽位 8刀片 9192.168.70.109槽位 9刀片 10192.168.70.110槽位 10连续编址的好处不只是好看。装完系统以后要做批量巡检地址连续就能用一个循环把所有节点扫一遍谁掉线一眼就看出来。如果地址是东一个西一个每次巡检都得手敲十遍 IP时间长了必然出错。下面这段脚本是我在管理笔记本上常备的用来一次性确认哪些刀片已经上电并且 IMM 可达#!/bin/bash # 批量探测刀片 IMM 管理口确认哪些节点已经上电并响应 for i in $(seq 101 110); do ip192.168.70.${i} # -c 1 只发一个包-W 1 表示超时 1 秒避免逐个卡住 if ping -c 1 -W 1 $ip /dev/null 21; then echo UP $ip else echo DOWN $ip fi done这段逻辑很简单但参数要留意-c 1是只发一个 ICMP 包-W 1是单包超时一秒seq 101 110生成地址尾段。如果现场机器没有 bash用 Windows 的话把循环换成十条ping -n 1 -w 1000也不费事。探不通的地址不一定是刀片坏了也可能是刀片没上电、IMM 还没初始化完或者地址被改过——这三种情况在第 5 章分开讲。2.3 首次登录 CMM从 PING 通到 HTTPS 打开物理连接的第一步是用一根网线接到刀箱的管理口也就是标着 MGMT 的那个 RJ45。接之前先确认笔记本的网卡地址不在192.168.70.0/24里否则会和目标地址冲突。我习惯把笔记本临时配成192.168.70.200留出足够的余量# 临时给笔记本配同网段地址示例为 Linux 环境 sudo ip addr add 192.168.70.200/24 dev eth0 sudo ip link set eth0 up # 先确认链路层通了再看三层 ping -c 4 192.168.70.100ip addr add加的是临时地址重启就没了不会污染笔记本的日常配置。如果你用的是 Windows直接在网卡属性里改 IPv4 地址即可掩码255.255.255.0网关可以先空着——管理网段内访问不需要网关。PING 通了以后浏览器地址栏输入https://192.168.70.100。这里有两个细节一是必须写https直接输 IP 有些浏览器会默认走 80 端口页面打不开二是首次访问会弹证书告警因为这个地址用的是设备自签证书点继续访问就行不是网络问题。登录框里填USERID密码Passw0rd。登录进去以后先不要急着改任何东西先把左侧或顶部的模块清单展开把当前所有模块的 IP、固件版本、状态抄一遍。这一步的意义在于如果后面你改错了地址手上还有一份原始记录可以回退。2.4 改地址之前先备份配置CMM 里通常有配置导出功能把当前配置导一份出来存到本地文件不大但关键时刻是后悔药。改 IP 是有断连风险的——你改的如果是自己正在访问的那个地址点保存的瞬间连接就断了页面刷不出来人会以为设备挂了。所以改 CMM 地址最好从另一个网段进或者改完立刻用新地址重连。刀片 IMM 的地址可以在 CMM 的节点管理里逐台改也可以进每片刀片自己的 IMM 界面改。批量场景下我倾向于在 CMM 里统一改改完再用 2.2 的脚本扫一遍确认十台都在。这一步做完地址规划才算真正落地后面的节点管理、远程呈现、装系统都建立在这张表上。3. 节点管理与远程呈现把 ISO 送进刀片的完整链路地址通了以后真正花时间的是装系统这一段。Flex 刀箱的装系统不是抱着显示器去机房而是通过 CMM 的节点管理调出远程控制台再把 ISO 映射成虚拟光驱。这条链路上任何一环断了表现都是黑屏或者找不到启动设备很容易误判成硬件故障。3.1 节点管理视图Launch 之前先看电源状态在 CMM 界面里找到节点管理有的固件叫计算节点、有的叫 Node List会列出当前机箱里所有刀片槽位、名称、电源状态和 IMM 地址。点某一片刀片进去能看到它的详细信息然后选 Launch 之类的入口调出远程控制台。调之前先看两件事电源状态是不是已经上电以及这片刀片的引导顺序是不是允许从光驱启动。电源没开的时候远程控制台也能打开但画面是黑的新手容易以为远程呈现坏了。我一般先把节点开机等自检画面出来再开远程控制台这样一眼就能确认链路是通的。3.2 Java 与浏览器远程呈现的三个硬条件远程呈现本质上是一个基于 Java 的图形通道所以它对运行环境有要求。按出厂文档的说法浏览器最好用火狐Java 版本要在 1.7.0_09 以上。这两条不是随便写的版本太低会直接报找不到主类浏览器不对会出现插件加载失败或者画面卡在握手阶段。三个条件缺一不可第一Java 运行环境已经装好并且浏览器的插件权限允许它运行。新版浏览器默认会拦掉这类插件需要在地址栏的权限设置里对这个 IP 单独放行。第二第一次打开远程控制台时会提示安装远程呈现所需的插件这个插件必须装完再刷新页面否则点了 Launch 也只是页面闪一下。第三弹出窗口不能被拦截。远程控制台是独立窗口拦截器一拦你会以为按钮没反应。装完插件之后重新点 Launch正常情况下会弹出一个带电源按钮和虚拟光驱菜单的窗口画面就是刀片的实际显示输出。到这一步剩下的操作就和坐在服务器前面一样了。3.3 ISO 映射Add image、Map、Mount 三步不能少远程控制台里有一个 Tools 或者虚拟介质菜单装系统的镜像就是从这里挂进去的。流程是三步第一步点 Add image选中本地存放的 ISO 文件。这一步只是把文件登记到列表里还没有挂载界面上一般会显示文件名和大小。第二步在列表里找到刚才那个镜像勾选 Map 或者类似的映射选项。这一步是把镜像和虚拟光驱设备绑定。第三步点 Mount 或者挂载让虚拟光驱真正出现在刀片的启动设备列表里。三步里最容易漏的是第二步。只 Add 不 Map刀片这边看不到任何光驱Map 了不 Mount光驱是空的启动时会提示找不到介质。我在现场见过不止一次有人卡在这里反复换 ISO 文件最后发现是少勾了一个框。挂载成功以后在远程控制台的画面上重启刀片进启动菜单就能看到虚拟光驱这一项。镜像来源上有个细节ISO 文件建议放在笔记本本地磁盘不要放在网络共享路径上。远程呈现挂载网络路径的 ISO 时读取速度受网络影响装系统过程中容易超时中断表现是安装到一半报介质错误很难查。3.4 引导顺序光驱启动之后记得改回来从虚拟光驱启动装完系统第一件事是把引导顺序改回硬盘优先。这一步经常被跳过结果下一次重启又进了安装界面或者更糟——如果有人忘了拔虚拟介质机器反复从空的虚拟光驱启动看起来就像系统崩了。改引导顺序的位置有两个一是在刀片自己的 UEFI 或者 BIOS 设置里改启动项顺序二是在 CMM 的节点配置里改一次性启动设备。前者是持久的后者只对下一次生效。我一般用后者做一次性引导装完系统再确认持久顺序里硬盘排在第一位这样两边都不会出问题。装系统的过程中还有一个时间点要注意文件复制完第一次重启时虚拟光驱如果还挂着有的安装程序会又从光驱启动一次进入循环。稳妥的做法是看到第一次重启的瞬间就把 Mount 取消掉或者干脆在重启前把镜像从列表里移除。4. 阵列卡与 I/O 模块两条容易被跳过的支线装系统之前还有一件事必须在阵列卡里做掉就是建 RAID。另外刀片装完系统能不能出网取决于后面的网络模块配没配对。这两条支线在流程图上常常被画成可选实际上少一条交付就不完整。4.1 阵列卡配置四步CtrlC 的时机刀片开机自检的时候屏幕上会闪过阵列卡的提示信息按对应的组合键进入配置界面。出厂文档里写的是 CtrlC但不同批次的阵列卡固件入口可能不一样以屏幕实际提示为准。进不去的常见原因是按键时机不对——提示只显示两三秒错过了就得重启再来。进去以后的操作分四步第一步选 RAID Properties 或者类似的阵列属性菜单再选创建阵列。这里会让你选 RAID 级别单盘做不了冗余双盘做 RAID 1 是最常见的交付配置兼顾容量和容错。第二步在物理盘列表里把要做阵列的硬盘状态从 No 改成 Yes。这一步是把盘纳入阵列没改状态的盘不会参与。第三步按 C 创建。有的固件是回车确认有的是按 C界面上会有提示。创建完必须走保存不保存的话退出就全丢了。第四步保存并退出。保存时有的固件会警告说会破坏数据这是正常提示新盘本来就是空的。这四步里第三步的保存最容易被忽略。界面上的创建动作看起来已经生效列表里也能看到新阵列但那只是内存里的配置没落盘。重启以后一切归零装系统时找不到硬盘然后开始怀疑背板或者硬盘坏了。4.2 RAID 建完必须回查 Virtual Drive创建完成以后不要直接退出回到阵列管理界面看一眼虚拟磁盘的状态。正常的 RAID 1 应该显示为 Optimal 或者 Normal容量等于单块盘的容量成员盘数量是两块。如果状态显示 Degraded 或者初始化中先等初始化跑完再装系统。有一个细节值得记一下有些阵列卡在创建时会问要不要做后台初始化。选是的话初始化在后台跑不影响装系统但磁盘性能在前几个小时会偏低选否的话第一次写入时才初始化装系统会明显变慢。我一般选后台初始化装完系统正好跑完。回查这一步还包括确认引导设备能看到这块虚拟盘。如果阵列卡里一切正常但刀片的启动菜单里看不到硬盘问题多半在引导模式上阵列卡是传统模式刀片设成了纯 UEFI 启动两边对不上。这种不匹配的表现就是「阵列里有盘、系统里没盘」排查的时候要往这个方向想。4.3 I/O 模块从 CMM 的 I/O 管理跳进去网络模块的配置入口在 CMM 里。登录 CMM 后找到机箱管理或者 I/O 管理一类的菜单会列出后面板所有 I/O 模块的槽位、类型和状态。选中对应的模块界面上会给出一个通过 HTTPS 打开它自己的管理页面的入口。点进去是网络模块自己的管理界面登录凭据和 CMM 不一样是USERID加全大写的PASSW0RD。这个大小写差异我在 2.1 提过一次现场输错三次然后怀疑模块被锁的场景并不罕见。登录进去以后能配的是这个模块自己的管理地址、上联口、VLAN 这些参数。两个网络模块通常做冗余A 面和 B 面各接一路交换机。配置时要注意两边的管理地址不能冲突上联口的速率和双工要和对端交换机一致VLAN 划分要和刀片内部的上行口对上。这些参数一旦有一处不一致表现出来的就是刀片能 ping 通同机箱内的邻居但出不了机箱。4.4 出口链路验证从 IMM 到外部网关网络配完以后不要只看管理页面的状态灯要实际验证。验证顺序是从近到远先在刀片操作系统里 ping 同机箱内另一片刀片的业务地址确认内部交换通再 ping 网络模块的上联口地址确认刀片到模块这一段通最后 ping 外部网关和公网地址确认出口通。三步里哪一步断问题范围就缩小到那一段。内部不通看刀片的网卡和内部端口映射到模块不通看模块的端口状态和 VLAN出不了网看模块的上联口和外部交换机的路由。这个从近到远的排查顺序比东ping一下西ping一下省时间得多也是我带人时反复强调的习惯。还有一点管理网和业务网尽量分开。上面这套192.168.70.x是管理地址业务流量走的是网络模块的交换平面两者混在一起虽然能通但管理流量和业务流量抢带宽出问题的时候也分不清是谁影响的。5. 避坑清单五条踩坑记录每条都见过不止一次Flex 刀箱的配置流程本身不算复杂复杂的是各种「看起来像硬件坏了」的假故障。下面五条是我在现场和远程支持里反复遇到的按现象、原因、解决三段写遇到对不上的情况可以直接照着排。5.1 PING 通但 HTTPS 打不开现象笔记本能 ping 通192.168.70.100浏览器输地址后一直转圈或者提示无法连接。原因有三个常见方向一是地址栏没写https://浏览器默认走了 80 端口而设备只开了 443二是笔记本上开着系统代理或者浏览器插件代理管理网段的流量被转走了三是浏览器对自签证书做了严格拦截页面根本没发出去。解决先手动补全https://再临时关掉代理最后换一个浏览器试。三步都不行的话用curl -k -I https://192.168.70.100在命令行确认服务端有没有响应能把浏览器因素和网络因素分开。5.2 远程控制台黑屏或者插件加载失败现象点了 Launch弹出窗口是黑的或者提示缺少 Java 组件、插件加载失败。原因Java 版本低于 1.7.0_09或者浏览器把这个 IP 的插件权限拦了或者第一次提示安装插件时点了取消。解决先升级 Java 到要求版本以上再到浏览器权限设置里对192.168.70.100单独放行插件和弹窗然后重新打开远程控制台让插件安装提示重新出现。装完插件必须刷新页面不刷新的话旧的会话还是不带插件。浏览器按文档建议用火狐能省掉不少兼容性问题。5.3 ISO 挂上了但启动不进光驱现象虚拟介质里能看到 ISO 文件名刀片重启后还是进硬盘或者报找不到启动设备。原因只做了 Add image没有勾选 Map或者 Map 了没有点 Mount也可能是引导顺序里光驱排在硬盘后面或者一次性启动设备没设对。解决回到虚拟介质菜单确认镜像那一行的 Map 和 Mount 状态都是已勾选再看远程控制台的启动菜单里有没有虚拟光驱这一项。没有的话说明挂载没生效取消重挂一次。有的话就是引导顺序问题在启动菜单里手动选光驱启动。5.4 RAID 建完系统里看不到硬盘现象阵列卡界面里能看到新建的虚拟磁盘状态正常但装系统时找不到任何磁盘。原因创建后没保存就退出或者阵列还在初始化系统安装程序读不到或者阵列卡工作在传统模式而刀片设成了纯 UEFI 引导。解决回阵列卡确认配置已保存、虚拟磁盘状态是 Optimal如果显示初始化中等它跑完再检查刀片的引导模式传统阵列卡配传统引导或者把阵列卡切到 UEFI 模式两边对齐。这一步对不上盘再多也认不出来。5.5 刀片能通内部但出不了网现象刀片之间互 ping 正常管理地址也能访问但 ping 外部网关不通。原因网络模块的上联口没配或者 down 了VLAN 划分和外部交换机不一致两个模块做冗余时地址或端口配重了。解决先登录网络模块看端口状态和上联口协商速率再和外部交换机的配置逐项对 VLAN 和链路聚合。两个模块的管理地址要确认没有冲突A 面和 B 面的上联分别接到不同的外部交换机上别都插到同一台。排查时按 4.4 从近到远的顺序走不要一上来就怀疑刀片网卡。6. 交付前回放一份能照着走的检查表配置做完不等于交付完成。我的习惯是在离开现场前把整条链路从头回放一遍每一条都落到具体动作和预期结果上不靠记忆。下面这张表是回放时用的左边是检查项右边是我实际会看的那个点检查项具体动作正常表现CMM 可达笔记本 ping192.168.70.100稳定响应无丢包CMM 登录浏览器 HTTPS 打开USERID 登录能看到全部模块列表IMM 地址用 2.2 的脚本扫.101到.110在位的刀片全部 UP阵列状态进阵列卡看虚拟磁盘Optimal容量符合预期引导顺序看刀片启动项硬盘排第一虚拟光驱已卸载内部通信刀片间互 ping 业务地址通延迟正常出口通信刀片 ping 外部网关通路由正确配置备份导出 CMM 配置到本地文件可打开时间戳是当天这张表里最容易漏的是最后一行。配置导出这个动作只要一分钟但它是唯一能在改错地址、误删配置之后把设备救回来的东西。我吃过一次亏改刀片 IMM 地址的时候手滑把 CMM 的地址也改了页面一断人进不去最后是靠现场重启加默认地址才恢复那台机器上原有的配置全部要重做。从那以后我每次动 CMM 的地址之前都强制先导一份配置改完再导一份两份按日期存着。回放的时候还有一个值得养成的习惯把每一片刀片的实际槽位、IMM 地址、业务地址、RAID 级别、装的什么系统记在同一张表里。这份表不只是给客户看的交付物下一次这台机器出问题你打开表就知道从哪个地址进、盘是怎么做的不用再去猜上一任配了什么。希望这些能帮到你。本文还有配套的精品资源点击获取