分布式数据库环境(HBase分布式数据库)的搭建与配置

分布式数据库环境(HBase分布式数据库)的搭建与配置

  • 1. VMWare安装CentOS7.9.2009
    • 1.1 下载 CentOS7.9.2009 映像文件
    • 1.2启动 VMware WorkstationPro,点击“创建新的虚拟机”
    • 1.3在新建虚拟机向导界面选择“典型(推荐)”
    • 1.4安装来源选择“安装程序光盘映像文件(iso)”,点击“浏览”按钮,选择下载的 centos7映像文件:CentOS-7-x86_64-Minimal-2009.iso
    • 1.5指定虚拟机名称和位置(建议存储位置从默认的 C 盘改为其它盘)
    • 1.6指定磁盘容量,可以使用推荐的 20GB
    • 1.7点击“自定义硬件”,修改默认配置参数
    • 1.8 VM 自动运行 CentOS7 映像文件,点击鼠标进入虚拟机,用键盘选中“Install CentOS7”,然后按回车键
    • 1.9在 CentOS 7 的安装欢迎界面,选择安装语言为“简体中文”。
    • 1.10设置“安装信息摘要”。
      • 1.10.1 点击“安装位置”,在新窗口中,可以使用默认设置,直接点击左上角的“完成”按钮。
      • 1.10.2点击“KDUMP”,在新窗口中取消“启用 kdump”后,点击左上角的“完成”按钮。
      • 1.10.3点击“网络和主机名”,在新窗口中点击按钮打开以太网连接,在下方设置主机名为“centos7server”,并点击“应用”按钮,然后点击左上角的“完成”按钮。
      • 1.10.4配置完毕,点击“开始安装”。在安装界面点击“ROOT 密码”,在新窗口中设置密码为:root,然后需要两次点击左上角的“完成按钮”,返回安装界面。
      • 1.10.5等安装结束后,点击“重启”按钮。
      • 1.10.6重启进入登陆界面,输入用户名 root,密码 root(输入密码时没有回显),即可成功登陆。
    • 1.11系统设置
      • 1.11.1修改网卡配置信息
  • 2. 安装hadoop
    • 2.1克隆一台虚拟机,设置网卡静态ip
    • 2.2配置主机名
    • 2.3安装jdk和Hadoop
    • 2.4配置相关文件
    • 2.5运行启动hadoop
  • 3. 安装Hbase
    • 3.1 准备安装文档。
    • 3.2配置环境变量
    • 3.3修改Hbase配置文件
    • 3.4启动hbase。
  • 4.总结
  • 5.参考资料

1. VMWare安装CentOS7.9.2009

1.1 下载 CentOS7.9.2009 映像文件

下载网址:下载网址

1.2启动 VMware WorkstationPro,点击“创建新的虚拟机”

在这里插入图片描述

1.3在新建虚拟机向导界面选择“典型(推荐)”

在这里插入图片描述

1.4安装来源选择“安装程序光盘映像文件(iso)”,点击“浏览”按钮,选择下载的 centos7映像文件:CentOS-7-x86_64-Minimal-2009.iso

在这里插入图片描述

1.5指定虚拟机名称和位置(建议存储位置从默认的 C 盘改为其它盘)

在这里插入图片描述

1.6指定磁盘容量,可以使用推荐的 20GB

在这里插入图片描述

1.7点击“自定义硬件”,修改默认配置参数

在这里插入图片描述
设置内存为 4G,处理器为 2 核
移除打印机(选中打印机后,点击移除按钮)
在这里插入图片描述
配置完成后,点击“关闭”按钮。
回到新建虚拟机向导界面,点击“完成”按钮。
在这里插入图片描述

1.8 VM 自动运行 CentOS7 映像文件,点击鼠标进入虚拟机,用键盘选中“Install CentOS7”,然后按回车键

在这里插入图片描述

1.9在 CentOS 7 的安装欢迎界面,选择安装语言为“简体中文”。

1.10设置“安装信息摘要”。

1.10.1 点击“安装位置”,在新窗口中,可以使用默认设置,直接点击左上角的“完成”按钮。

1.10.2点击“KDUMP”,在新窗口中取消“启用 kdump”后,点击左上角的“完成”按钮。

在这里插入图片描述
在这里插入图片描述

1.10.3点击“网络和主机名”,在新窗口中点击按钮打开以太网连接,在下方设置主机名为“centos7server”,并点击“应用”按钮,然后点击左上角的“完成”按钮。

在这里插入图片描述

1.10.4配置完毕,点击“开始安装”。在安装界面点击“ROOT 密码”,在新窗口中设置密码为:root,然后需要两次点击左上角的“完成按钮”,返回安装界面。

1.10.5等安装结束后,点击“重启”按钮。

1.10.6重启进入登陆界面,输入用户名 root,密码 root(输入密码时没有回显),即可成功登陆。

在这里插入图片描述

1.11系统设置

1.11.1修改网卡配置信息

查看当前ip地址
在这里插入图片描述
切换工作目录:cd /etc/sysconfig/network-scripts/
编辑网卡文件:vi ifcfg-ens33
默认为命令模式,无法修改文件内容,按下字母“i”进入编辑模式,修改内容如下:
在这里插入图片描述
修改完毕后,按“ESC”键进入命令模式,输入“:wq”保存退出
重启网卡:systemctl restart network
检查网络是否连通:ping www.baidu.com
显示如下结果,说明网络正常,按 Ctrl+C 退出执行:
在这里插入图片描述
关闭防火墙:systemctl disable firewalld
关闭 selinux:sed -i ‘s/enforcing/disabled/’ /etc/selinux/config
重启:reboot

2. 安装hadoop

2.1克隆一台虚拟机,设置网卡静态ip

• cd /etc/sysconfig/network-scripts
• 编辑网卡文件:vi ifcfg-ens33
• 将IPADDR的值修改为192.168.37.182(其它配置不变)。
• 保存后,执行systemctl restart network,即可重启网卡,使设置生效
• 运行ping www.baidu.com检查网络是否连通。

2.2配置主机名

• 在虚拟机hadp01上编辑hostname文件vi /etc/hostname,修改文件内容为:hadp01
• 编辑hadp01的hosts文件vi /etc/hosts。
加以下内容:192.168.3.182 hadp02
• 在虚拟机的hosts文件中增运行reboot重启CentOS系统,使设置生效

2.3安装jdk和Hadoop

• 在官网下载文件:jdk-8u201-linux-x64.tar.gz和hadoop-2.9.2.tar.gz,通过MobaXterm,将保存在Win10中的jdk-8u201-linux-x64.tar.gz和hadoop-2.9.2.tar.gz传递到hadp01的/home/root目录中,并解压到执行命令tar -xzvf jdk-8u201-linux-x64.tar.gz -C apps/,tar -xzvf hadoop-2.9.2.tar.gz -C apps/, 将jdk解压到指定目录中(/home/root/apps)。
• vi /etc/profile 编辑/etc/profile文件,在文件的末尾设置JAVA环境变量
在这里插入图片描述

2.4配置相关文件

• 2.4.1 vi /etc/profile 编辑/etc/profile文件,在文件的末尾设置Hadoop环境变量
在这里插入图片描述
运行source /etc/profile 让修改后的/etc/profile文件立即生效
• 执行命令cd /home/root/apps/hadoop-2.9.2/etc/hadoop,切换到目录/home/root/apps/hadoop-2.9.2/etc/hadoop下。
• 编辑core-site.xml文件vi core-site.xml
在这里插入图片描述
• 编辑hdfs-site.xml文件,vi hdfs-site.xml

在这里插入图片描述
• 根据模板创建mapred-site.xml文件:cp mapred-site.xml.template mapred-site.xml
• 编辑mapred-site.xml文件

在这里插入图片描述
• 编辑yarn-site.xml文件vi yarn-site.xml
o yarn.nodemanager.aux-services:指定辅助服务
o yarn.resourcemanager.hostname:指定resourcemanager的地址

<property><name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property><name>yarn.resourcemanager.hostname</name>
<value>hadp01</value>
</property>

• 编辑hadoop-env.sh文件vi hadoop-env.sh
o 将默认的export JAVA_HOME=${JAVA_HOME}替换为export JAVA_HOME=/home/root/apps/jdk1.8.0_201
• 编辑yarn-env.sh文件i
o 将默认的# export JAVA_HOME=/home/y/libexec/jdk1.6.0/替换为export JAVA_HOME=/home/root/apps/jdk1.8.0_201,记得删除这一行最前面的#
• 编辑mapred-env.sh文件vi mapred-env.sh
o 将默认的# export JAVA_HOME=/home/y/libexec/jdk1.6.0/替换为export JAVA_HOME=/home/root/apps/jdk1.8.0_201,记得删除这一行最前面的#
• 编辑slaves文件vi slaves
o 将默认的localhost改为hadp01

2.5运行启动hadoop

• 格式化namenode节点:hdfs namenode -format
• 启动Hadoop集群
o cd /home/root/apps/hadoop-2.9.2/sbin
o ./start-all.sh
o 提示Are you sure you want to continue connecting (yes/no)?时,输入yes
• jps显示当前所有java进程pid,查看Hadoop是否启动成功(NameNode,SecondaryNameNode,DataNode,ResouceManager,NodeManager)

在这里插入图片描述
• 在Windows中启动浏览器查看运行情况(推荐使用Google Chrome浏览器)
o HDFS的Web页面:192.168.37.182:50070

在这里插入图片描述
o YARN的Web页面:192.168.37.182:8088
在这里插入图片描述

3. 安装Hbase

3.1 准备安装文档。

• 在Windows中下载HBase,下载链接:https://archive.apache.org/dist/hbase/2.2.6/hbase-2.2.6-bin.tar.gz
• 利用MobaXterm,将Windows中保存的hbase-2.2.6-bin.tar.gz拷贝到hadp02虚拟机,存储位置:/home/root/
• 在hadp01中切换到HBase安装文件所在目录:cd /home/root
• 解压缩到apps目录中:tar -xzvf hbase-2.2.6-bin.tar.gz -C apps

3.2配置环境变量

• 编辑/etc/profile文件,vi /etc/profile,,在文件末尾增加内容如下:
在这里插入图片描述
• 并使修改的profile文件生效:source /etc/profile

3.3修改Hbase配置文件

• 切换到配置文件目录:cd /home/root/apps/hbase-2.2.6/conf
• 编辑hbase-env.sh文件:vi hbase-env.sh
o 配置JAVA_HOME,HBASE_MANAGES_ZK
o 找到# export JAVA_HOME=/usr/java/jdk1.6.0/,修改为export JAVA_HOME=/home/root/apps/jdk1.8.0_201(注意:要去掉最前面的#)

在这里插入图片描述
o 找到如下代码

# Tell HBase whether it should manage it's own instance of Zookeeper or not.
# export HBASE_MANAGES_ZK=true

去掉export前面的#,修改效果如下:

# Tell HBase whether it should manage it's own instance of Zookeeper or not.
export HBASE_MANAGES_ZK=true

• 编辑hbase-site.xml文件:vi hbase-site.xml
o 修改第一项hbase.cluster.distributed的value值为true,并添加部分内容,修改后文件如下:
在这里插入图片描述
• 编辑regionservers文件:vi regionservers,删除原有内容localhost,修改内容为:
在这里插入图片描述

3.4启动hbase。

• 启动hdfs集群
在这里插入图片描述
• 启动hbase

在这里插入图片描述
• 检查启动状态。
o 输入jps,查看进程中是否包含HMaster、HRegionServer、HQuorumPeer
o 在Windows环境下,启动Chrome浏览器,输入:192.168.37.182:16010

在这里插入图片描述
在这里插入图片描述
• 命令行形式操作hbase。
在这里插入图片描述

4.总结

这个搭建过程主要是CentOS上成功完成了Hadoop和HBase的伪分布式安装。主要包括环境配置、Hadoop与HBase的安装、配置与测试。

如果对您有帮助,希望您能给我点个赞~!

5.参考资料

(1)HBase基础知识
https://www.cnblogs.com/boanxin/p/10407778.html
https://blog.csdn.net/qq_1018944104/article/details/85013790?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.channel_param&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.channel_param

(2)搭建5个节点的hadoop集群环境(CDH5)
https://blog.csdn.net/u010270403/article/details/51446674

(3)HBase完全分布式集群环境搭建过程总结
https://blog.csdn.net/qq_38586378/article/details/81352358

附选:
Oracle的安装与卸载
目的与要求
掌握Oracle 10g数据库服务器的安装与配置
掌握Oracle 10g数据库服务器安装过程中问题的解决

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/35075.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

ssh连接工具

我们未来接触到的linux系统一般情况下是没有界面&#xff08;桌面环境&#xff09;&#xff0c;我们一般会在自己工作的电脑上&#xff0c;通过相关ssh工具&#xff0c;利用网络连接到远程的你的服务器上。连接工具有很多&#xff1a;mobaxterm、xshell/xftp、putty等等 mobaxt…

苹果 ATS 配置SSL证书

Apple的App Transport Security (ATS) 是一项安全机制&#xff0c;旨在确保iOS和macOS应用的网络通信使用HTTPS加密。自iOS 9和OS X 10.11以来&#xff0c;默认情况下所有网络请求都必须使用HTTPS&#xff0c;除非明确允许非HTTPS连接。 在2017年1月1日之前&#xff0c;开发者可…

安卓逆向之对抗Anti-Frida学习

基础补充 什么是 Anti-Frida 保护&#xff1f; Anti-Frida保护是指在移动应用或程序中采用的一种安全技术或防护机制&#xff0c;旨在防止或干扰Frida等动态分析工具的注入与使用。 Anti-Frida保护常见技术 有哪些&#xff1f; 检测frida-agent.so的注入 &#xff1a; Fr…

安全架构评审

安全架构评审 1.概述2.安全设计原则3.美团安全架构评审模型安全需求分析架构review攻击面分析和威胁建模攻击面分析威胁列表 1.概述 完整的安全评审会包含安全架构评审、安全代码审核和安全测试三个手段 安全架构评审聚焦于探寻安全设计中的漏洞&#xff0c;以宏观视野全面考…

迎接国庆,我上线了第一款小程序

最近花了些时间&#xff0c;写了一个 “国庆头像” 小程序。正好快国庆节了&#xff0c;于是分享一下我的这个 “Starstick星点贴纸” 小程序&#xff0c;顺便简单讲讲以及其中的设计、开发、上线过程。 小程序的界面是这样的&#xff1a; &#x1f52e;背景 今年中秋前夕&am…

房产销售系统

文末获取源码和万字论文&#xff0c;制作不易&#xff0c;感谢点赞支持。 摘 要 随着科学技术的飞速发展&#xff0c;各行各业都在努力与现代先进技术接轨&#xff0c;通过科技手段提高自身的优势&#xff1b;对于房产销售系统当然也不能排除在外&#xff0c;随着网络技术的不…

开发一套ERP 第二个生产版本

库存管理第一个生产版本 Okay 进入测试 嘿嘿,搞完了,剩下的就是细测慢调了 下一版本可以内置sqlite 数据库来操作这些数据表,sqlite 也支持 trigger 的功能

Weiss 机器人电动夹爪,重塑工业自动化精密操作

在当今的自动化进程里&#xff0c;Weiss高精密电动夹爪扮演着重要的角色。Weiss公司位于德国&#xff0c;其精心研制的高精密电动夹爪专为工业机器人与协作机器人打造。 Weiss 高精密电动夹爪的控制方式独具特色&#xff0c;与传统的一些夹爪相比&#xff0c;Weiss电动夹爪在处…

【JVM虚拟机】面试经典八股文(应届生必看)

目录 1.JDK、JRE、JVM三者关系&#xff1f; 2.谈谈JVM的理解&#xff1f; 3.JVM执行字节码的过程&#xff1f;&#xff08;执行方式&#xff09; 4.JVM的组成是什么&#xff1f; 5.什么是类加载机制&#xff1f; 6.什么是双亲委派模型&#xff1f; 7.JVM内存模型 8.堆区的…

Android 实现中英文切换

在开发海外项目的时候&#xff0c;需要实现app内部的中英文切换功能&#xff0c;所有的英文都是内置的&#xff0c;整体思路为&#xff1a; 创建一个sp对象&#xff0c;存储当前系统的语言类型&#xff0c;然后在BaseActivity中对语言进行判断&#xff1b; //公共Activitypubl…

Qt-练习1(事件循环)

一、练习要求 1、使用QT的IO读取文件&#xff1b; 2、以QSlider为基础&#xff0c;写一个进度条&#xff0c;显示文件读取的进度&#xff1b; 3、给QSlider布置qss样式&#xff0c;qss文件像css文件一样&#xff0c;分离出来。 二、源码 全部源码 源码目录&#xff1a; 1.1 、m…

解决Clang 18+不能链接GCC14编译的库的问题

前面笔者的博文MSYS2 MinGW64使用Protobuf新版本踩坑&#xff0c;有提到使用最新的Clang 19.1.4版本在MinGW下无法正常链接使用了Protobuf 28.3的项目&#xff0c;因为MinGW下的项目默认都是使用GCC来编译的&#xff0c;所以如果开发者使用Clang编译器&#xff0c;必然会出现链…

城市内涝监测预警系统解决方案-智慧排水

成因分析 气候变化 受全球气候变暖导致大气水循环加快&#xff0c;环流不稳定性增加&#xff0c;进一步引发极端降雨事件受城市热岛效应、雨岛效应的影响,强降雨常集中于城市且雨量多&#xff0c;强度大且雨量多。 排水系统不完善 城市发展快&#xff0c;城市防洪排涝工程&a…

Python:使用随机森林分类器进行模型评估:ROC 曲线与 AUC 指标计算

前言 这段代码的目标是使用 随机森林分类器&#xff08;Random Forest Classifier&#xff09; 来进行二分类任务&#xff0c;并基于每个数据子集计算 ROC 曲线&#xff08;Receiver Operating Characteristic Curve&#xff09;以及 AUC&#xff08;Area Under Curve&#xf…

【JAVA练习】力扣1232.缀点成线

题目&#xff1a; 解题思路&#xff1a; 直线上面的点满足公式&#xff1a;&#xff0c; 如果所有点在一条直线上&#xff0c;即任意两点的斜率相同&#xff0c;由于计算斜率存在精度的问题&#xff0c;可以将除法等价于乘法。 等价于 class Solution {public boolean che…

【SKFramework框架核心模块】3-12、网络请求模块

推荐阅读 CSDN主页GitHub开源地址Unity3D插件分享QQ群&#xff1a;398291828小红书小破站 大家好&#xff0c;我是佛系工程师☆恬静的小魔龙☆&#xff0c;不定时更新Unity开发技巧&#xff0c;觉得有用记得一键三连哦。 一、前言 【Unity3D框架】SKFramework框架完全教程《全…

C# 反射(Reflection)

文章目录 前言一、反射的优缺点&#xff08;一&#xff09;优点&#xff08;二&#xff09;缺点 二、反射的用途&#xff08;一&#xff09;查看特性&#xff08;attribute&#xff09;信息&#xff08;二&#xff09;审查集合中的各种类型并实例化&#xff08;三&#xff09;实…

Jdk配置、maven配置、gradle配置、Java开发常用的依赖库

一、配置JDK环境变量&#xff1a; 1. 安装 JDK 首先确保已经安装了 JDK。如果还没有安装&#xff0c;可以从 Oracle 官网 或者 AdoptOpenJDK 下载并安装合适的 JDK 版本。 我建议下载这个&#xff1a;https://adoptium.net/zh-CN/temurin/releases/?oswindows&archx64&…

【AI系统】FBNet 系列

FBNet 系列 本文主要介绍 FBNet 系列&#xff0c;在这一章会给大家带来三种版本的 FBNet 网络&#xff0c;从基本 NAS 搜索方法开始&#xff0c;到 v3 版本的独特方法。在本节中读者会了解到如何用 NAS 搜索出最好的网络和训练参数。 FBNet V1 模型 FBNetV1:完全基于 NAS 搜…

二十三、Linux可视管理之webmin和bt运维工具

1、webmin 基本介绍 Webmin 是功能强大的基于 Web 的 Unix/linux 系统管理工具。管理员通过浏览器访问 Webmin 的各种管理功能并完成相应的管理操作。除了各版本的 linux 以外还可用于&#xff1a;AIX、HPUX、Solaris、Unixware、Irix 和 FreeBSD 等系统安装webmin&配置 …