交换机堆叠(iStack)与集群(CSS) 一、重点1、堆叠的建立、合并与分裂2、堆叠成员的加入与退出3、MAD的用途与工作原理4、集群与堆叠的异同5、堆叠和集群的配置命令与配置流程二、背景1、传统园区网高可靠性技术STP、链路聚合、VRRP等不但很难在设备或链路发生故障时实现毫秒级别的切换而且主备设计常常意味着备用设备的资源被白白浪费---提供高可用性确保资源得到有效利用堆叠/集群可以把STP等技术动辄长达数秒的故障切换时间缩短到几乎感知不到业务中断的程度将堆叠/集群技术和链路聚合结合起来使用可以规避因STP打断环路、阻塞冗余端口所造成的带宽浪费实现跨设备链路聚合提升链路使用率2、高可靠性技术常常涉及大量设备之间的联动所以管理员需要对参与高可靠性的技术进行分别管理增加了管理的难度和人工引入错误的概率---更加有效地对大量设备进行管理管理员在完成简单的堆叠/集群安装和配置后只需要管理堆叠/集群的逻辑设备而不需要对其中的成员设备进行管理三、堆叠与集群的原理堆叠的本质是在简化拓扑的同时保证冗余功能不丢失多虚一的过程盒式交换机集群的本质是把两台支持集群特性的物理交换机连接为一台逻辑交换机让它们联合转发数据流量高端框式交换机1、成员交换机的角色比较堆叠优先级选举越大越优概率主交换机在一个堆叠系统中主交换机只有一台负责管理整个堆叠备交换机在一个堆叠系统中备交换机只有一台其作用是在主交换机发生故障的情况下接替主交换机的角色从交换机在一个堆叠系统中除主交换机和备交换机以外的成员都是从交换机。当备交换机发生故障或接替主交换机的情况下其中一台从交换机会接替备交换机的角色2、堆叠ID在一个堆叠系统中每台成员交换机都拥有一个唯一的堆叠ID这个堆叠ID就是交换机在堆叠中的槽位号。g 1/0/0 其中第一个1就是该交换机的堆叠ID缺省情况下堆叠ID为0成员交换机的堆叠ID由主交换机负责管理加入新成员导致堆叠ID冲突时主交换机会从0到最大的堆叠ID进行遍历把找到的第一个空闲的堆叠ID分配给新成员交换机最好还是提前规划好堆叠ID3、成员交换机建立连接介质---堆叠逻辑接口连接和堆叠插卡连接堆叠逻辑接口一个堆叠逻辑接口可以绑定多个物理成员接口每台交换机支持两个堆叠逻辑接口stack-port n/1和stack-port n/2n为堆叠ID建立堆叠时本对端交换机堆叠逻辑接口需要交叉连接本端stack-port n/1连接对端stack-port m/2物理成员端口可以任意连接堆叠插卡堆叠插卡配备逻辑接口需要使用专用的堆叠线缆进行连接本对端接口交叉连接4、成员交换机连接方式链式连接 --- 可靠性较低但连接建立长度更长当中间成员交换机离开堆叠、中间的某一条堆叠链路或中间的某一台成员交换机发生故障时堆叠就有可能发生分裂环形连接 --- 可靠性高但受限于堆叠成员之间的距离难以采用这种方式建立堆叠任何一条链路发生故障指挥让环形连接的堆叠变成链式堆叠不影响正常工作四、堆叠的建立堆叠的连接和配置 --- 选举主交换机发送堆叠竞争报文比较优先级和MAC地址 --- 主交换机收集拓扑信息分配堆叠ID --- 选举备用交换机 --- 其他交换机同步并运行主交换机的系统软件和配置文件主交换机向其他交换机同步拓扑信息1、主交换机的选举比较堆叠优先级越大越优比较MAC地址越小越优选举超时时间20s2、备交换机的选举除主交换机外堆叠优先级越大越优MAC地址越小越优由于堆叠系统属于非抢占模式若启动时间不同那么在主交换机已经选举成功后第二个启动成功的设备就是备交换机3、系统软件的同步与主交换机不同的会主动从主交换机处下载从而达成同步4、配置文件的同步从主交换机处下载同步以下配置文件全局配置 --- 适用于所有堆叠的所有成员交换机接口配置 --- 仅适用于该接口所属的成员交换机堆叠ID发生改变时若新堆叠ID没有对应接口配置则使用默认配置反之则使用对应接口配置五、堆叠成员的退出当堆叠成员离开堆叠系统时根据堆叠成员角色不同堆叠系统操作不同离开的是主交换机: 备交换机接替主交换机重新计算堆叠拓扑并同步到其他成员交换机然后指定新的备交换机离开的是备交换机主交换机重新指定备交换机重新计算拓扑并同步到其他成员交换机离开的是从交换机主交换机重新计算拓扑并同步到其他成员交换机当堆叠成员离开堆叠系统时根据建立连接方式不同会出现不同情况环形连接不会造成太大影响链式连接中间交换机的离开会导致堆叠分裂因为主交换机同步了整个堆叠的配置文件所以退出的交换机的配置文件需要手动删除。删除后设备会进行重新启动六、堆叠成员的加入和堆叠的合并1、堆叠成员的加入当一个堆叠系统已经进入稳定运行状态后向堆叠中添加新成员交换机的操作就称为堆叠成员的加入。加入时应确保交换机未加电或已下电完成连接并上电后新成员交换机会成为从交换机因为堆叠属于非抢占模式只要已经堆叠中已经有了主交换机后加入的就是从交换机堆叠ID重复的情况主交换机会通过遍历然后给新成员交换机分配新的堆叠ID新成员交换机会从主交换机处同步系统软件和配置文件2、堆叠的合并与堆叠成员的加入的设备是未加电设备不同的是堆叠合并是把两个正在运行的堆叠系统通过连接堆叠线缆的方式合并成一个新的堆叠系统两个堆叠系统的主交换机进行选举优的成为主交换机次的所在的整个堆叠系统重新启动作为从交换机加入另一个堆叠系统七、堆叠分裂在技术上堆叠分裂指一个稳定运行的堆叠系统因为故障变成多个堆叠系统或者一个堆叠系统中带电移出部分成员交换机注意在一个堆叠系统中即使只有一台运行堆叠技术的交换机其依然构成一个堆叠系统堆叠分裂后发生的情形按照分裂后主备交换机是否处于同一个堆叠中分成两种分裂后主备交换机处于同一个堆叠中没有了主备交换机的堆叠就会因为协议报文超时20s重新选举新的主备交换机拥有主备交换机的堆叠系统不会受到影响分裂后主备交换机处于不同堆叠中在主交换机的堆叠中主交换机会重新指定备交换机重新计算堆叠拓扑并同步到其他成员交换机而在备交换机的堆叠中备交换机会接替主交换机的角色重新计算拓扑并同步到其他成员交换机然后指定新的备交换机堆叠分裂会引发的问题IP地址冲突和MAC地址冲突 --- 因为堆叠系统中的成员交换机为了作为一台逻辑设备与网络中的设备通信它们会使用相同的IP地址VLAN IF接口和MAC地址来封装报文堆叠系统会使用主交换机的MAC地址作为系统的MAC地址如果主交换机离开堆叠系统堆叠系统缺省会延时10min进行MAC地址切换。这段时间中分裂的两个堆叠就会使用相同的MAC地址进行通信--- --- 必须进行IP地址和MAC地址的冲突检测--- --- MAD检测八、MADMAD检测 --- MAD冲突处理 --- MAD故障恢复MAD检测多主检测MAD是一种检测和处理堆叠分裂的协议可以在链路故障导致堆叠系统分裂后执行检测、冲突处理和故障恢复降低堆叠分裂对业务的影响当出现堆叠分裂时堆叠系统会通过MAD链路发送MAD报文进行竞选。竞选失败的堆叠系统会关闭所有物理接口从而避免IP、MAC地址冲突对物业造成的影响根据MAD链路的不同MAD方式可以分为直连检测方式和代理检测方式两种同一个堆叠系统不可以同时配置这两种检测方式直连检测方式直连检测方式是指堆叠成员交换机间通过普通线缆直连的专属链路进行多主检测这种方式需要管理员手动把这条线缆配置为MAD链路堆叠系统分裂后分裂的两台交换机之间会以1s为周期通过检测链路发送MAD报文进行多主冲突处理直连检测的连接方式分为通过中间设备直连和堆叠成员交换机Full-mesh方式直连通过中间设备直连--- 堆叠系统的所有成员交换机之间至少有一条检测链路与中间设备相连Full-mesh方式直连--- 堆叠系统的各成员交换机之间通过检测链路建立Full-mesh全连接即每两台成员交换机之间至少有一条检测链路对比之下通过中间设备直连可以缩短堆叠成员交换机之间的检测链路长度适用于成员交换机之间相距较远的场景Full-mesh方式直连可以避免中间设备故障导致MAD失败但也占用成员交换机更多接口因此这种方式适用于成员交换机数量较少的情况。代理检测方式代理检测方式是在堆叠系统的链路聚合上启用代理检测在代理设备上启用MAD功能这种方式要求堆叠系统中所有成员交换机都与代理设备连接并将这些链路加入到同一个链路聚合内与直连检测方式相比这种方式无须占用额外的接口因为链路聚合接口可同时运行MAD代理检测和其他业务代理检测方式分为单机代理检测和通过链路聚合连接两个堆叠互相执行MAD代理检测在堆叠系统正常运行时堆叠成员交换机之间会以30s为周期通过检测链路发送MAD报文第二种方式管理员必须手动配置保证两个堆叠系统的堆叠域的域编号不同堆叠分裂后分裂后的两台交换机以1s为周期通过检测链路发送MAD报文进行多主冲突处理MAD冲突处理堆叠分裂后MAD冲突处理机制会使分裂后的系统处于Detect检测状态或Recovery恢复状态Detect状态--- 堆叠处于正常工作状态Recovery状态--- 堆叠处于禁用状态此时堆叠系统会关闭除了手动配置的保留端口外的其他所有物理端口MAD竞争原则MAD竞争原则与主交换机竞争原则相似具体如下比较启动时间启动完成时间早的堆叠系统处于Detect状态启动完成时间差在20s以内则认为堆叠的启动时间相同)比较堆叠系统中主交换机的优先级优先级高的堆叠系统处于Detect状态比较堆叠系统的MACMAC小的堆叠系统处于Detec状态MAD故障恢复两种方式重新合并堆叠链路修复后处于Recovery状态的堆叠系统重新启动与Detect状态的堆叠系统合并同时将被关闭的业务端口恢复为Up状态整个堆叠系统恢复如果故障链路修复前承载业务的Detect状态的堆叠系统也出现了故障此时可以先将该堆叠系统从网络中移除再通过命令行启用Recovery状态的堆叠系统接替原来的业务然后恢复原Detect状态的堆叠系统的故障及链路故障。故障修复后重新合并堆叠系统。九、堆叠升级堆叠升级是让系统或者堆叠中的成员交换机运行新的系统软件版本堆叠升级方式智能升级 --- 就是系统软件同步的过程注意要在新的系统软件重启后再重新加入堆叠系统传统升级 --- 管理员指定下次启动版本后进行同步传统升级会造成较长时间的业务中断平滑升级---平滑升级会把系统分为active主交换机所在区域和backup区域并对堆叠分区轮流进行升级。整个堆叠系统上下行链路采用备份组网。适用于对业务中断时间要求较高的场景。MAC地址会发生改变平滑升级分为三个阶段阶段1主交换机下发命令触发整个堆叠系统进入平滑升级状态backup区域各成员交换机用新的系统软件启动阶段2backup区域以新的系统软件版本启动建立一个独立的堆叠系统然后通知active区域进入升级阶段。此时主控权会从active区域的主交换机转移到backup区域的备交换机由backup区域负责流量传输active区域进入升级流程。阶段3active区域以新系统软件版本启动。并且加入backup区域的堆叠系统。backup的主交换机根据最终堆叠建立的结果发布升级的结果。简单来说就是主交换机下发平滑升级的命令后备交换机所在backup区域先进行系统软件版本升级不中断业务升级完成后取代主交换机负责流量传输此时主交换机所在区域再进行升级并在升级完成后加入到backup区域。主备交换了平滑升级的堆叠系统应该满足的条件堆叠系统任何一台成员交换机不能同时属于两个区域堆叠系统任何一台成员交换机不能同时不属于两个区域任何区域的成员交换机数不能为0主交换机不能包含在backup区域中两个区域中的成员交换机要各自相互直接连接两个区域不能在中间断开十、跨设备链路聚合当链路聚合的一条成员链路或堆叠的某台成员交换机发生了故障Eth-Trunk接口就会通过堆叠线缆把流量重新分布到其他聚合链路上同时实现了链路间和设备间的备份保证了流量传输的可靠性。注意流量较大时利用堆叠线缆转发数据流量会给堆叠线缆带来很大的负担所以管理员仍要尽快恢复链路链路聚合的负载分担算法本身就可以根据流量特征把报文分担在不同的成员链路上即有可能把一个报文的出接口分配给堆叠中不同于入接口的另一台成员交换机。此时就需要管理员启动流量本地优先转发把从本设备接收到的流量优先从本设备转发出去。十一、堆叠的配置命令[ ]可选、{ }必须选一个、 必须填实际数字、1-n前面的单元可以重复1-n遍创建逻辑接口[Huawei]interface stack-portmember-id/port-idmember-id是设备的堆叠IDport-id是本地的堆叠逻辑接口编号只能是1或者2系统进入堆叠端口视图将这个堆叠逻辑接口划分到物理成员端口[Huawei-stack-port0/1]port interface stack-port{interface-type interface-number1 [ to interface-type interface-number2 ] } 1-10enable配置堆叠ID缺省情况下为0[Huawei]stack slotslot-idrenumbernew-slot-idslot --- 槽位输入以上命令后管理员需保存当前配置并重启设备修改的堆叠ID才会生效修改设备的堆叠优先级默认为100[Huawei]stack slotslot-idprioritypriority配置直连方式的MAD[Huawei-GigabitEthernet0/0/1]mad detect mode direct配置单机的代理方式MAD需要进入堆叠对应的Eth-Trunk[Huawei-Eth-Trunk1]mad detect mode relay[Huawei-Eth-Trunk1]mad relay配置两个堆叠互相执行MAD代理检测[Huawei]mad domaindomain-id --- 为两个堆叠配置不同的MAD阈值缺省情况下为0[Huawei-Eth-Trunk1]mad detect mode relay[Huawei-Eth-Trunk1]mad relay ---分别进入两个堆叠系统各自连接对方的链路聚合端口分别开启MAD检测和MAD代理备交换机充当主交换机的角色[Huawei]slave switchover减少因为携带堆叠系统MAC地址成员交换机离开堆叠引起的堆叠系统MAC地址切换导致的流量中断时间[Huawei]stack time mac-address switch-delaydelay-time --- 设置切换时间缺省为10min设置为0就不会进行切换[Huawei]undo stack time mac-address switch-delay---立即执行MAC地址切换清除堆叠配置[Huawei]reset stack configuration十二、集群概念及基础集群与堆叠的区别集群堆叠支持台数2台2~9台1台也可以运行支持的设备高端框式交换机盒式交换机成员角色主交换机、备交换机主、备交换机、从交换机标识ID集群ID堆叠ID集群成员交换机之间使用集群链路进行连接。集群链路可以是一条链路也可以是把多条链路捆绑共同组成集群链路链路连接成功后管理员需要启动集群功能正确完成配置并重启设备后两台设备就会自动组建集群主交换机的主用主控板会成为集群系统的控制平面备交换机的主用主控板会成为集群系统的备用控制平面两台交换机的备用主控板会成为集群系统的候选备用主控板主控板 --- 也叫MPU/主控单元是交换机的【大脑】。盒式交换机的是焊死的框式交换机的是单独插进去的板卡。集群的发展集群的发展分为两个阶段即传统CSS和CSS2物理连接方式也不尽相同传统CSS传统CSS使用主控板上的集群卡或者使用业务接口建立集群连接使用业务接口连接时两端成员交换机使用的接口数量、类型必须相同业务接口连接的集群按照链路分布有两种组网方式10组网管理员在每台成员交换机上配置一个集群逻辑接口物理成员接口分布在一块线路/接口板上依靠一块线路/接口板上的物理成员端口与对端框式交换机的物理成员端口建立集群11组网管理员在每台成员交换机上配置两个集群逻辑端口物理成员接口分布在两块线路线路/接口板上不同线路/接口板上的集群链路形成备份对于只支持CSS架构的框式交换机它的内接口板之间的流量和跨框流量都必须经过主控板即如果单框内已经没有正常工作的主控板流量也就无法在接口板之间转发也就无法跨框转发。CSS2CSS2专指通过交换网板上的集群卡建立集群支持CSS2架构的框式交换机使用了转控分离的架构--- 集群系统内单框即使没有能够正常工作的主控板也不影响框内的流量转发集群主控1N备份在CSS2集群中只要有一台框式交换机装有一个能够正常工作的主控板集群两台框式的接口板就可以正常转发报文十三、集群的配置命令配置集群ID默认为1[Huawei]set css idnew-id创建集群逻辑接口[Huawei]interface css-portport-id系统进入集群端口视图将集群逻辑接口划分物理成员端口[Huawei-css-port1]port interface{ interface-type interface-number1 [ to interface-type interface-number2 ] } 1-10enable修改设备的集群优先级缺省为1[Huawei]set css prioritypriority缺省情况下集群功能并未启动。管理员在两台成员交换机系统视图启用集群功能[Huawei]css enable在启用了集群功能后重启生效设置设备的集群连接方式[Huawei]set css mode{ lpu | css-card }