【企业级分布式系统】ZooKeeper集群

文章目录

  • Zookeeper 概述
    • Zookeeper 定义
    • Zookeeper 工作机制
      • Zookeeper 特点
      • Zookeeper 数据结构
      • Zookeeper 选举机制
  • 部署 Zookeeper 集群
    • 准备 3 台服务器作为 Zookeeper 集群节点
      • 1. 安装前准备
        • 关闭防火墙
        • 安装 JDK
        • 下载安装包
      • 2. 安装 Zookeeper
        • 修改配置文件
        • 拷贝配置好的 Zookeeper 配置文件到其他机器上
        • 在每个节点上创建数据目录和日志目录
        • 在每个节点的 `dataDir` 指定的目录下创建一个 `myid` 的文件
        • 配置 Zookeeper 启动脚本
        • 设置开机自启
        • 分别启动 Zookeeper
        • 查看当前状态

Zookeeper 概述

Zookeeper 定义

ZooKeeper是一个开源的分布式协调服务，它为分布式应用提供一致性服务。ZooKeeper通过提供高效且可靠的数据存储、数据同步以及集群管理等功能，帮助开发者构建高可用的分布式系统。在分布式环境中，ZooKeeper常用于解决分布式数据一致性、分布式锁、命名服务、配置管理等问题。

Zookeeper 工作机制

从设计模式的角度来看，ZooKeeper基于观察者模式设计。它维护一个共享的、树状的数据结构，并允许客户端注册为某个数据节点的观察者。当这些数据节点的状态发生变化时，ZooKeeper会通知所有注册的观察者，使得它们能够做出相应的反应。这种机制使得ZooKeeper在分布式系统中能够高效地协调不同节点之间的通信和协作。

Zookeeper 特点

  1. 集群架构：ZooKeeper集群由一个领导者（Leader）和多个跟随者（Follower）组成。这种架构确保了系统的高可用性和容错性。
  2. 高可用性：只要ZooKeeper集群中有一半以上的节点存活，集群就能正常提供服务。因此，为了最大化系统的可用性，通常建议安装奇数台服务器来构建ZooKeeper集群。
  3. 全局数据一致：ZooKeeper集群中的每个节点都保存一份相同的数据副本，确保了数据的全局一致性。
  4. 顺序一致性：ZooKeeper保证来自同一个客户端的更新请求会按照其发送顺序依次执行。
  5. 数据更新原子性：ZooKeeper保证每次数据更新操作要么成功，要么失败，不会出现部分更新的情况。
  6. 实时性：ZooKeeper能够在一定时间内保证客户端能够读取到最新的数据。

Zookeeper 数据结构

ZooKeeper的数据模型类似于Linux文件系统，整体上可以看作是一棵树，每个节点称为ZNode。每个ZNode默认能够存储1MB的数据，并通过其路径唯一标识。ZNode可以分为持久节点和临时节点两种类型，分别用于存储持久数据和临时数据。

Zookeeper 选举机制

第一次启动选举机制：

  1. 当第一台服务器启动时，它会发起一次选举并投自己一票。由于票数不足半数，选举无法完成，服务器状态保持为LOOKING。
  2. 当第二台服务器启动时，它会再次发起选举并与第一台服务器交换选票信息。根据选票规则（如服务器ID较大的获胜），第二台服务器可能会成为领导者或继续保持LOOKING状态。
  3. 当第三台服务器启动时，它会继续发起选举并与前两台服务器交换选票信息。最终，根据选票规则，一台服务器会成为领导者，其他服务器成为跟随者。

非第一次启动选举机制：

  1. 当ZooKeeper集群中的一台服务器出现初始化启动或无法与领导者保持连接时，它会开始进入Leader选举流程。
  2. 如果集群中已经存在一个领导者，则新加入的服务器会尝试与领导者建立连接并进行状态同步。
  3. 如果集群中不存在领导者，则所有参与选举的服务器会根据EPOCH（每个领导者任期的代号）、ZXID（事务ID）和服务器ID等规则进行投票选举。最终，一台服务器会成为新的领导者。

选举Leader规则：

  1. EPOCH大的直接胜出：EPOCH表示每个领导者任期的代号，EPOCH值较大的服务器具有更高的优先级。
  2. EPOCH相同，事务ID大的胜出：如果EPOCH相同，则比较事务ID（ZXID），事务ID较大的服务器具有更高的优先级。
  3. 事务ID相同，服务器ID大的胜出：如果事务ID也相同，则比较服务器ID（SID），服务器ID较大的服务器具有更高的优先级。

SID：服务器ID。用来唯一标识一台ZooKeeper集群中的机器，每台机器不能重复，和myid一致。
ZXID：事务ID。ZXID是一个事务ID，用来标识一次服务器状态的变更。在某一时刻，集群中的每台机器的ZXID值不一定完全一致，这和ZooKeeper服务器对于客户端“更新请求”的处理逻辑速度有关。
Epoch：每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加

部署 Zookeeper 集群

准备 3 台服务器作为 Zookeeper 集群节点

  • 192.168.80.10
  • 192.168.80.11
  • 192.168.80.12

1. 安装前准备

关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
安装 JDK
yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
java -version
下载安装包

官方下载地址：https://archive.apache.org/dist/zookeeper/

cd /opt
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7-bin.tar.gz

2. 安装 Zookeeper

cd /opt
tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz
mv apache-zookeeper-3.5.7-bin /usr/local/zookeeper-3.5.7
修改配置文件
cd /usr/local/zookeeper-3.5.7/conf/
cp zoo_sample.cfg zoo.cfg

编辑 zoo.cfg 文件：

vim zoo.cfg

配置项说明：

  • tickTime=2000：通信心跳时间，Zookeeper 服务器与客户端心跳时间，单位毫秒。
  • initLimit=10：Leader 和 Follower 初始连接时能容忍的最多心跳数（tickTime 的数量），这里表示为 10*2s。
  • syncLimit=5：Leader 和 Follower 之间同步通信的超时时间，这里表示如果超过 5*2s，Leader 认为 Follower 死掉，并从服务器列表中删除 Follower。
  • dataDir=/usr/local/zookeeper-3.5.7/data：修改，指定保存 Zookeeper 中的数据的目录，目录需要单独创建。
  • dataLogDir=/usr/local/zookeeper-3.5.7/logs：添加，指定存放日志的目录，目录需要单独创建。
  • clientPort=2181：客户端连接端口。

添加集群信息：

server.1=192.168.80.10:3188:3288
server.2=192.168.80.11:3188:3288
server.3=192.168.80.12:3188:3288

集群配置项说明：

  • server.A=B:C:D
    • A 是一个数字，表示这个是第几号服务器。集群模式下需要在 zoo.cfg 中 dataDir 指定的目录下创建一个文件 myid，这个文件里面有一个数据就是 A 的值，Zookeeper 启动时读取此文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是哪个 server。
    • B 是这个服务器的地址。
    • C 是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口。
    • D 是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。
拷贝配置好的 Zookeeper 配置文件到其他机器上
scp /usr/local/zookeeper-3.5.7/conf/zoo.cfg 192.168.80.11:/usr/local/zookeeper-3.5.7/conf/
scp /usr/local/zookeeper-3.5.7/conf/zoo.cfg 192.168.80.12:/usr/local/zookeeper-3.5.7/conf/
在每个节点上创建数据目录和日志目录
mkdir /usr/local/zookeeper-3.5.7/data
mkdir /usr/local/zookeeper-3.5.7/logs
在每个节点的 dataDir 指定的目录下创建一个 myid 的文件
echo 1 > /usr/local/zookeeper-3.5.7/data/myid
echo 2 > /usr/local/zookeeper-3.5.7/data/myid
echo 3 > /usr/local/zookeeper-3.5.7/data/myid
配置 Zookeeper 启动脚本
vim /etc/init.d/zookeeper

脚本内容：

#!/bin/bash
#chkconfig: 2345 20 90
#description:Zookeeper Service Control Script
ZK_HOME='/usr/local/zookeeper-3.5.7'
case $1 in
start)echo "---------- zookeeper 启动 ------------"$ZK_HOME/bin/zkServer.sh start
;;
stop)echo "---------- zookeeper 停止 ------------"$ZK_HOME/bin/zkServer.sh stop
;;
restart)echo "---------- zookeeper 重启 ------------"$ZK_HOME/bin/zkServer.sh restart
;;
status)echo "---------- zookeeper 状态 ------------"$ZK_HOME/bin/zkServer.sh status
;;
*)echo "Usage: $0 {start|stop|restart|status}"
esac
设置开机自启
chmod +x /etc/init.d/zookeeper
chkconfig --add zookeeper
分别启动 Zookeeper
service zookeeper start
查看当前状态
service zookeeper status

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/19123.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

笔记02----重新思考轻量化视觉Transformer中的局部感知CloFormer（即插即用）

笔记02----重新思考轻量化视觉Transformer中的局部感知CloFormer（即插即用）

1. 基本信息 论文标题: 《Rethinking Local Perception in Lightweight Vision Transformer》中文标题: 《重新思考轻量化视觉Transformer中的局部感知》作者单位: 清华大学发表时间: 2023论文地址: https://arxiv.org/abs/2303.17803代码地址: https://github.com/qhfan/CloF…
阅读更多...
LVGL-从入门到熟练使用

LVGL-从入门到熟练使用

LVGL简介 LVGL（ Light and Versatile Graphics Library ）是一个轻量、多功能的开源图形库。 1、丰富且强大的模块化图形组件：按钮 、图表 、列表、滑动条、图片等 2、高级的图形引擎：动画、抗锯齿、透明度、平滑滚动、图层混合等…
阅读更多...
【python系列】python数据类型的分类和比较

【python系列】python数据类型的分类和比较

一、数据类型的定义 在程序设计的类型系统中，数据类型（英语：Data type），又称资料型态、资料型别，是用来约束数据的解释。——Wikipedia 从定义我们可以看出来，数字类型的理解最主要的是约束数据…
阅读更多...
SpringBoot（二十七）SpringBoot集成XRebel实现异常定位

SpringBoot（二十七）SpringBoot集成XRebel实现异常定位

之前我使用JRebel实现了IDEA热更新。 这几天我无聊的时候，研究了一下JRebel发现，好像不止JRebel一个插件，同时安装的还有一个XRebel插件，百度了一下，XRebel可以实现异常定位，还有方法的执行分析&#xff0c…
阅读更多...
windows上部署flask程序

windows上部署flask程序

文章目录 前言一、准备工作二、配置 Gunicorn 或 uWSGI1.安装 Waitress2.修改启动文件来使用 Waitress 启动 Flask 应用3.配置反向代理（可选）4.启动程序访问 三.Flask 程序在 Windows 启动时自动启动1.使用 nssm（Non-Sucking Service Manager…
阅读更多...
python调用MySql保姆级教程（包会的）

python调用MySql保姆级教程（包会的）

目录 一、下载MySql 二、安装MySql 三、验证MySql是否OK 1、MySQL控制台验证 2、命令提示符cmd窗口验证 四、Python调用MySql 4.1 安装pysql 4.2 使用pysql 4.2.1、连接数据库服务器并且创建数据库和表 4.2.2 、将人脸识别考勤系统识别到的数据自动填入到数据库的表单中…
阅读更多...
如何解决将长视频转换为易于处理的 Spacetime Patch 的问题？

如何解决将长视频转换为易于处理的 Spacetime Patch 的问题？

🍉 CSDN 叶庭云：https://yetingyun.blog.csdn.net/ 将长视频转换为易于处理的 Spacetime Patch（时空补丁）是一项挑战，尤其是当视频内容复杂或包含长时间连续场景时。在计算机视觉和视频分析等领域，Spacetim…
阅读更多...
大数据学习16之Spark-Core

大数据学习16之Spark-Core

1. 概述 1.1.简介 Apache Spark 是专门为大规模数据处理而设计的快速通用的计算引擎。 一种类似 Hadoop MapReduce 的通用并行计算框架，它拥有MapReduce的优点，不同于MR的是Job中间结果可以缓存在内存中，从而不需要读取HDFS，减少…
阅读更多...
LeetCode 力扣 热题 100道（五）最长回文子串（C++）

LeetCode 力扣 热题 100道（五）最长回文子串（C++）

最长回文子串 给你一个字符串 s，找到 s 中最长的 回文子串。 回文性 如果字符串向前和向后读都相同，则它满足 回文性 子字符串子字符串 是字符串中连续的 非空 字符序列。 动态规划法 class Solution { public:string longestPalindrome(string s) {i…
阅读更多...
dropout层/暂退法

dropout层/暂退法

作用：正则化，缓解过拟合 实现方式： 在前向传播过程中，将该层的一部分神经元的输出特征随机丢掉（设为 0），相当于随机消灭一部分神经元仅在训练期间使用，测试时没有神经元被丢掉。 正…
阅读更多...
【圆上的连线——卡特兰数】

【圆上的连线——卡特兰数】

题目 思路 因为不相交，所以每个点最多连出一条线，所以参与连线的点一定是偶数个 我们按照选出点的数量 2，4 …… 2x 将答案划分，答案可以表示为 （假设我们选出2x个点连线，假设方法数为 ：2x个点参…
阅读更多...
Pytest-Bdd-Playwright 系列教程（11）：场景快捷方式

Pytest-Bdd-Playwright 系列教程（11）：场景快捷方式

Pytest-Bdd-Playwright 系列教程（11）：场景快捷方式 前言1. 手动绑定场景的传统方法2. 场景快捷方式的自动绑定方法2.1 绑定所有场景2.2 绑定多个路径2.3 自动与手动绑定的结合 3. 示例：结合 Playwright 的实际应用3.1 项目目录结构…
阅读更多...
day-17 反转字符串中的单词

day-17 反转字符串中的单词

利用split()函数和substring函数 code: class Solution {public String reverseWords(String s) {int m0;while(s.charAt(m) ){m;}ss.substring(m);String arr[]s.split("[\\s]");int narr.length;String ss"";for(int in-1;i>1;i--){ssssarr[i]"…
阅读更多...
Ubuntu20.04从零安装IsaacSim/IsaacLab

Ubuntu20.04从零安装IsaacSim/IsaacLab

Ubuntu20.04从零安装IsaacSim/IsaacLab 电脑硬件配置：安装Isaac sim方案一：pip安装方案二：预构建二进制文件安装1、安装ominiverse2、在ominiverse中安装isaac sim，下载最新的4.2版本 安装Isaac Lab1、IsaacLab环境克隆2、创建con…
阅读更多...
力扣hot100--＞二分查找

力扣hot100--＞二分查找

二分查找 1. 33. 搜索旋转排序数组 中等 整数数组 nums 按升序排列&#xff0c;数组中的值 互不相同 。 在传递给函数之前&#xff0c;nums 在预先未知的某个下标 k&#xff08;0 < k < nums.length&#xff09;上进行了 旋转&#xff0c;使数组变为 [nums[k], nums[…
阅读更多...
Javaweb梳理17——HTMLCSS简介

Javaweb梳理17——HTMLCSS简介

Javaweb梳理17——HTML&CSS简介 17 HTML&CSS简介17.1 HTML介绍17.2 快速入门17.3 基础标签17.3 .1 标题标签17.3.2 hr标签17.3.3 字体标签17.3.4 换行17.3.8 案例17.3.9 图片、音频、视频标签17.3.10 超链接标签17.3.11 列表标签 17 HTML&CSS简介 今日目标&#x…
阅读更多...
倍福PLC数据 转 IEC61850项目案例

倍福PLC数据 转 IEC61850项目案例

目录 1 案例说明 2 VFBOX网关工作原理 3 准备工作 4 设置倍福PLC 5 配置网关参数采集倍福PLC数据 6 用IEC61850协议转发数据 7 网关使用多个逻辑设备和逻辑节点的方法 8 案例总结 1 案例说明 设置倍福PLC&#xff0c;开通ADS通信设置网关采集倍福PLC数据把采集的数据转…
阅读更多...
代码辅助工具 GPT / Cursor

代码辅助工具 GPT / Cursor

代码辅助工具 GPT / Cursor 文章说明GPT辅助效果第一次提问效果第二次提问效果第三第四次提问效果手动微调布局和宽高的效果第五次要求添加主题切换效果第六次提问--继续让它优化主题切换的效果第七次提问--修改主题切换的按钮位置并添加动画提问词第一次提问词第二次提问词第三…
阅读更多...
FPGA 常用 I/O 电平标准有哪些?

FPGA 常用 I/O 电平标准有哪些?

在 FPGA 的神奇世界里&#xff0c;I/O 电平标准就像魔法咒语&#xff0c;掌控着芯片与外界交流的方式。对于初涉 FPGA 领域的小白来说&#xff0c;这些标准可能有点神秘莫测&#xff0c;但别担心&#xff0c;今天我就用最通俗易懂的方式为你揭开它们的面纱。 一、电平标准的魔…
阅读更多...
网络协议(4)拥塞控制

网络协议(4)拥塞控制

之前已经说过了tcp也是会考虑网络的情况的&#xff0c;也就是当网络出现问题的时候tcp不会再对报文进行重传。当所有的用户在网络不好的时候都不会对丢失的报文进行重传。这样就会防止网络瘫痪。 这样的机制也就是tcp会进行拥塞控制。 拥塞控制 所谓的慢启动看下面这张图就能…
阅读更多...
最新文章

Copyright @ 2022~2023