1. LVS DR模式集群概述LVSLinux Virtual Server是构建高性能、高可用服务器集群的核心技术方案之一。DRDirect Routing模式作为LVS三种工作模式中最常用的一种通过巧妙的网络包转发机制实现了负载均衡器与真实服务器在同一局域网内的直接通信。这种架构下负载均衡器仅处理入站请求而真实服务器直接响应客户端彻底避免了负载均衡器成为网络瓶颈的可能性。在实际生产环境中DR模式特别适合处理高并发Web服务、API网关等场景。我曾为某电商平台部署的LVS DR集群在双十一期间成功承载了每秒12万次的HTTP请求而负载均衡器的CPU利用率始终保持在30%以下。这种性能表现正是DR模式的价值所在——它通过Linux内核级的ipvs模块实现四层转发避免了应用层代理如Nginx的性能损耗。与NAT和TUN模式相比DR模式具有三个显著优势首先响应数据包不经过负载均衡器网络吞吐量仅受真实服务器网卡限制其次支持更灵活的真实服务器部署只要能与客户端路由互通即可最后由于工作在数据链路层可以透明处理任何TCP/UDP协议。但需要注意的是DR模式要求所有真实服务器必须配置VIPVirtual IP且需要正确处理ARP问题这是部署中的关键难点。2. 基础环境准备与拓扑设计2.1 硬件与网络规划典型的DR模式集群需要以下组件1台负载均衡器Director建议双网卡配置CPU至少4核多台真实服务器Real Server根据业务需求确定数量1个虚拟IPVIP如192.168.1.100需与真实服务器同网段交换机支持需确保支持直接路由和ARP抑制我曾遇到一个经典案例某企业初期为节省成本试图在单网卡环境下部署DR模式结果导致ARP广播风暴。后来调整为如下图所示的双网卡拓扑后问题解决客户端 | [ 交换机 ] | | | [Director] (eth0:192.168.1.10, eth1:VIP 192.168.1.100) | [Real Server1] (eth0:192.168.1.11, lo:VIP 192.168.1.100) [Real Server2] (eth0:192.168.1.12, lo:VIP 192.168.1.100)2.2 系统与软件要求所有节点需要CentOS 7/8或Ubuntu 18.04推荐CentOS 7.9内核版本≥3.10需包含ip_vs模块关闭firewalld和SELinux生产环境需配置安全组规则安装ipvsadm管理工具yum install ipvsadm -y关键验证步骤执行lsmod | grep ip_vs应看到ip_vs相关模块。若未加载运行modprobe ip_vs并添加到/etc/rc.local。3. 详细配置步骤解析3.1 负载均衡器配置首先在Director上配置VIP并设置转发规则# 添加VIP到eth1网卡 ip addr add 192.168.1.100/32 dev eth1 # 启用IP转发 echo 1 /proc/sys/net/ipv4/ip_forward # 清空现有规则 ipvsadm -C # 添加TCP服务集群 ipvsadm -A -t 192.168.1.100:80 -s wrr # 添加真实服务器节点 ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.11:80 -g -w 1 ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.12:80 -g -w 1 # 保存配置CentOS service ipvsadm save参数说明-s wrr加权轮询调度算法还可选wlc、lc等-g表示DR模式gatewaying-w服务器权重数值越大分配请求越多3.2 真实服务器配置每台Real Server需要配置VIP到lo接口并抑制ARP响应# 配置VIP到lo接口 ip addr add 192.168.1.100/32 dev lo # 设置ARP抑制参数 echo 1 /proc/sys/net/ipv4/conf/all/arp_ignore echo 2 /proc/sys/net/ipv4/conf/all/arp_announce # 验证配置 ip addr show lo | grep 192.168.1.100这些ARP参数是DR模式正常工作的关键arp_ignore1仅响应目标IP配置在接收网卡的ARP请求arp_announce2总是使用最佳本地地址进行ARP宣告3.3 服务部署与健康检查在真实服务器上部署Nginx或其他服务后建议配置LVS健康检查# 安装监控脚本 cat /usr/local/bin/lvs_check EOF #!/bin/bash VIP192.168.1.100 PORT80 for IP in 192.168.1.11 192.168.1.12; do if ! curl -s --connect-timeout 3 http://$IP:$PORT /dev/null; then ipvsadm -d -t $VIP:$PORT -r $IP:$PORT else ipvsadm -a -t $VIP:$PORT -r $IP:$PORT -g -w 1 fi done EOF # 设置定时任务 echo * * * * * root /usr/local/bin/lvs_check /etc/cron.d/lvs_check4. 常见问题排查与优化4.1 ARP问题排查DR模式最常见的问题是ARP响应异常可通过以下命令诊断# 在Director上查看ARP表 arp -an | grep 192.168.1.100 # 在客户端抓包观察 tcpdump -i eth0 arp and host 192.168.1.100典型症状及解决方案客户端收到多个VIP的ARP响应 → 检查Real Server的arp_ignore/arp_announce设置客户端无法解析VIP → 在交换机上配置VIP与Director MAC绑定真实服务器无法收到请求 → 检查Director的ipvsadm规则是否生效4.2 性能优化建议根据实际压测经验推荐以下优化措施内核参数调整/etc/sysctl.confnet.ipv4.tcp_tw_recycle 1 net.ipv4.tcp_tw_reuse 1 net.ipv4.tcp_fin_timeout 30 net.core.somaxconn 65535调度算法选择短连接服务wlc加权最小连接长连接服务sh源地址哈希动态负载lblc基于局部的最小连接连接保持配置# 设置持久化服务适用于SSL等需要会话保持的场景 ipvsadm -E -t 192.168.1.100:80 -s wrr -p 36005. 生产环境部署进阶技巧5.1 高可用方案实现单点Director存在故障风险推荐使用Keepalived实现主备切换# 主备节点安装Keepalived yum install keepalived -y # 主节点配置/etc/keepalived/keepalived.conf vrrp_instance VI_1 { state MASTER interface eth1 virtual_router_id 51 priority 100 advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 192.168.1.100/32 dev eth1 } } virtual_server 192.168.1.100 80 { delay_loop 6 lb_algo wrr lb_kind DR protocol TCP real_server 192.168.1.11 80 { weight 1 TCP_CHECK { connect_timeout 3 } } }5.2 监控与日志分析建议部署以下监控项ipvs连接数监控watch -n 1 ipvsadm -ln --stats实时流量查看iftop -i eth1 -f port 80关键指标采集适合接入Prometheus# 获取活动连接数 ipvsadm -ln --stats | grep -o ActiveConn:[0-9]* | cut -d: -f2 # 获取入站包速率 ipvsadm -ln --rate | grep -o inPPS:[0-9]* | cut -d: -f25.3 与云环境集成注意事项在AWS/Aliyun等云平台部署时需特别注意禁用云平台的ARP代理功能安全组需放行VIP的ICMP和业务端口弹性网卡不支持VIP绑定需改用辅助私网IP云负载均衡器与LVS存在功能重叠建议评估是否需要同时使用我曾协助某SaaS企业将LVS DR集群从物理机房迁移到阿里云关键调整包括改用ENI的辅助IP作为VIP通过云企业网实现跨可用区Real Server通信使用云监控替代传统ARP检测 迁移后集群的P99延迟从87ms降至52ms验证了云环境下LVS DR模式的可行性。 
长河君 · 2026/10/29 9:17:51 · 阅读 1.2k LVS DR模式集群配置与性能优化实战
1. LVS DR模式集群概述LVSLinux Virtual Server是构建高性能、高可用服务器集群的核心技术方案之一。DRDirect Routing模式作为LVS三种工作模式中最常用的一种通过巧妙的网络包转发机制实现了负载均衡器与真实服务器在同一局域网内的直接通信。这种架构下负载均衡器仅处理入站请求而真实服务器直接响应客户端彻底避免了负载均衡器成为网络瓶颈的可能性。在实际生产环境中DR模式特别适合处理高并发Web服务、API网关等场景。我曾为某电商平台部署的LVS DR集群在双十一期间成功承载了每秒12万次的HTTP请求而负载均衡器的CPU利用率始终保持在30%以下。这种性能表现正是DR模式的价值所在——它通过Linux内核级的ipvs模块实现四层转发避免了应用层代理如Nginx的性能损耗。与NAT和TUN模式相比DR模式具有三个显著优势首先响应数据包不经过负载均衡器网络吞吐量仅受真实服务器网卡限制其次支持更灵活的真实服务器部署只要能与客户端路由互通即可最后由于工作在数据链路层可以透明处理任何TCP/UDP协议。但需要注意的是DR模式要求所有真实服务器必须配置VIPVirtual IP且需要正确处理ARP问题这是部署中的关键难点。2. 基础环境准备与拓扑设计2.1 硬件与网络规划典型的DR模式集群需要以下组件1台负载均衡器Director建议双网卡配置CPU至少4核多台真实服务器Real Server根据业务需求确定数量1个虚拟IPVIP如192.168.1.100需与真实服务器同网段交换机支持需确保支持直接路由和ARP抑制我曾遇到一个经典案例某企业初期为节省成本试图在单网卡环境下部署DR模式结果导致ARP广播风暴。后来调整为如下图所示的双网卡拓扑后问题解决客户端 | [ 交换机 ] | | | [Director] (eth0:192.168.1.10, eth1:VIP 192.168.1.100) | [Real Server1] (eth0:192.168.1.11, lo:VIP 192.168.1.100) [Real Server2] (eth0:192.168.1.12, lo:VIP 192.168.1.100)2.2 系统与软件要求所有节点需要CentOS 7/8或Ubuntu 18.04推荐CentOS 7.9内核版本≥3.10需包含ip_vs模块关闭firewalld和SELinux生产环境需配置安全组规则安装ipvsadm管理工具yum install ipvsadm -y关键验证步骤执行lsmod | grep ip_vs应看到ip_vs相关模块。若未加载运行modprobe ip_vs并添加到/etc/rc.local。3. 详细配置步骤解析3.1 负载均衡器配置首先在Director上配置VIP并设置转发规则# 添加VIP到eth1网卡 ip addr add 192.168.1.100/32 dev eth1 # 启用IP转发 echo 1 /proc/sys/net/ipv4/ip_forward # 清空现有规则 ipvsadm -C # 添加TCP服务集群 ipvsadm -A -t 192.168.1.100:80 -s wrr # 添加真实服务器节点 ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.11:80 -g -w 1 ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.12:80 -g -w 1 # 保存配置CentOS service ipvsadm save参数说明-s wrr加权轮询调度算法还可选wlc、lc等-g表示DR模式gatewaying-w服务器权重数值越大分配请求越多3.2 真实服务器配置每台Real Server需要配置VIP到lo接口并抑制ARP响应# 配置VIP到lo接口 ip addr add 192.168.1.100/32 dev lo # 设置ARP抑制参数 echo 1 /proc/sys/net/ipv4/conf/all/arp_ignore echo 2 /proc/sys/net/ipv4/conf/all/arp_announce # 验证配置 ip addr show lo | grep 192.168.1.100这些ARP参数是DR模式正常工作的关键arp_ignore1仅响应目标IP配置在接收网卡的ARP请求arp_announce2总是使用最佳本地地址进行ARP宣告3.3 服务部署与健康检查在真实服务器上部署Nginx或其他服务后建议配置LVS健康检查# 安装监控脚本 cat /usr/local/bin/lvs_check EOF #!/bin/bash VIP192.168.1.100 PORT80 for IP in 192.168.1.11 192.168.1.12; do if ! curl -s --connect-timeout 3 http://$IP:$PORT /dev/null; then ipvsadm -d -t $VIP:$PORT -r $IP:$PORT else ipvsadm -a -t $VIP:$PORT -r $IP:$PORT -g -w 1 fi done EOF # 设置定时任务 echo * * * * * root /usr/local/bin/lvs_check /etc/cron.d/lvs_check4. 常见问题排查与优化4.1 ARP问题排查DR模式最常见的问题是ARP响应异常可通过以下命令诊断# 在Director上查看ARP表 arp -an | grep 192.168.1.100 # 在客户端抓包观察 tcpdump -i eth0 arp and host 192.168.1.100典型症状及解决方案客户端收到多个VIP的ARP响应 → 检查Real Server的arp_ignore/arp_announce设置客户端无法解析VIP → 在交换机上配置VIP与Director MAC绑定真实服务器无法收到请求 → 检查Director的ipvsadm规则是否生效4.2 性能优化建议根据实际压测经验推荐以下优化措施内核参数调整/etc/sysctl.confnet.ipv4.tcp_tw_recycle 1 net.ipv4.tcp_tw_reuse 1 net.ipv4.tcp_fin_timeout 30 net.core.somaxconn 65535调度算法选择短连接服务wlc加权最小连接长连接服务sh源地址哈希动态负载lblc基于局部的最小连接连接保持配置# 设置持久化服务适用于SSL等需要会话保持的场景 ipvsadm -E -t 192.168.1.100:80 -s wrr -p 36005. 生产环境部署进阶技巧5.1 高可用方案实现单点Director存在故障风险推荐使用Keepalived实现主备切换# 主备节点安装Keepalived yum install keepalived -y # 主节点配置/etc/keepalived/keepalived.conf vrrp_instance VI_1 { state MASTER interface eth1 virtual_router_id 51 priority 100 advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 192.168.1.100/32 dev eth1 } } virtual_server 192.168.1.100 80 { delay_loop 6 lb_algo wrr lb_kind DR protocol TCP real_server 192.168.1.11 80 { weight 1 TCP_CHECK { connect_timeout 3 } } }5.2 监控与日志分析建议部署以下监控项ipvs连接数监控watch -n 1 ipvsadm -ln --stats实时流量查看iftop -i eth1 -f port 80关键指标采集适合接入Prometheus# 获取活动连接数 ipvsadm -ln --stats | grep -o ActiveConn:[0-9]* | cut -d: -f2 # 获取入站包速率 ipvsadm -ln --rate | grep -o inPPS:[0-9]* | cut -d: -f25.3 与云环境集成注意事项在AWS/Aliyun等云平台部署时需特别注意禁用云平台的ARP代理功能安全组需放行VIP的ICMP和业务端口弹性网卡不支持VIP绑定需改用辅助私网IP云负载均衡器与LVS存在功能重叠建议评估是否需要同时使用我曾协助某SaaS企业将LVS DR集群从物理机房迁移到阿里云关键调整包括改用ENI的辅助IP作为VIP通过云企业网实现跨可用区Real Server通信使用云监控替代传统ARP检测 迁移后集群的P99延迟从87ms降至52ms验证了云环境下LVS DR模式的可行性。