linux搭建大数据环境

前期准备工作

友情提醒提前安装好vmware软件,准备好连接虚拟机的客户端

一. 基础环境

1.配置ip地址

修改ip配置文件

[root@node1 /]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
# 1.把dhcp修改成static
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="dfd8991d-799e-46b2-aaf0-ed2c95098d58"
DEVICE="ens33"
ONBOOT="yes"
# 2.添加以下内容到文件末尾
IPADDR="192.168.88.101"
PREFIX="24"
GATEWAY="192.168.88.2"
NETMASK="255.255.255.0"
DNS1="8.8.8.8"
DNS2="114.114.114.114"
IPV6_PRIVACY="no"

网络服务(关闭启动重启)

[root@node1 ~]# service network stop
[root@node1 ~]# service network start
[root@node1 ~]# service network restart

查看ip地址

[root@node1 /]# ifconfig

2.配置主机名

[root@node1 ~]# vim /etc/hostname 
# 文件内容如下:
node1

3.禁用防火墙

友情提醒先关闭再禁用防火墙

[root@node1 ~]# systemctl stop firewalld.service
[root@node1 ~]# systemctl disable firewalld.service

查看防火墙状态

[root@node1 ~]# systemctl status firewalld.service

默认状态是 Active: active (running) , 关闭后查看状态是Active: inactive (dead)

4.关闭Selinux

SELinux(Security-Enhanced Linux) 是美国国家安全局制造的新安全子系统(它限制了进程只能在允许的范围内操作资源)

如果开启了SELinux, 需要做非常复杂的配置, 才能正常使用系统, 在学习阶段, 在非生产环境, 一般不使用SELinux

SELinux的工作模式：enforcing: 强制模式 permissive:宽容模式 disabled:关闭禁用

[root@node1 ~]# vim /etc/selinux/config
# 默认是强制模式SELINUX=enforcing,进入文件修改为关闭即可
SELINUX=disabled

5.时钟同步

[root@node1 ~]# yum -y install ntpdate
[root@node1 ~]# ntpdate ntp4.aliyun.com
[root@node1 ~]# crontab -e
# crontab -e命令直接在/var/spool/cron目录中编辑并生成root用户的定时任务
# 分时 日月周  定时每分钟连接阿里云时间同步服务器，进行时钟同步
*/1 * * * * /usr/sbin/ntpdate -u ntp4.aliyun.com

6.创建软件安装目录

[root@node1 ~]# mkdir /export
[root@node1 ~]# cd /export
[root@node1 export]# mkdir data logs server software

7.配置域名映射

[root@node1 ~]# vim /etc/hosts
# 文件内容如下:
192.168.88.101 node1.itcast.cn node1
192.168.88.102 node2.itcast.cn node2
192.168.88.103 node3.itcast.cn node3

8.重启系统

[root@node1 ~]# reboot
或者
[root@node1 ~]# init 6

init 进程是 Linux 内核引导运行的用户级进程 .共有7个等级:

0停机或者关机, 1单用户模式, 2多用户模式, 3完全多用户模式, 4安全模式, 5图形界面模式, 6重启

二. 安装jdk软件

1.上传软件

友情提醒使用CRT等客户端远程上传jdk-8u65-linux-x64.tar.gz文件到/export/software目录下

2.解压软件

[root@node1 ~]# cd /export/software/
[root@node1 software]# tar -zxvf jdk-8u65-linux-x64.tar.gz -C /export/server/

3.添加环境变量

[root@node1 software]# vim /etc/profile
# 把如下内容复制到profile文件的最后,注意:记得保存并退出wq
# 小技巧 : 按G + o快速到文件末尾
export JAVA_HOME=/export/server/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

4.重新加载文件(配置生效)

[root@node1 software]# source /etc/profile

5.检查jdk版本

[root@node1 software]# java -version

三. 安装mysql软件

0.卸载mariadb-libs

友情提醒centos7内部集成了mariadb，而安装mysql的话会和mariadb的文件冲突，所以需要先卸载掉mariadb

[root@node1 software]# rpm -e --nodeps mariadb-libs

1.上传软件

友情提醒使用CRT等客户端远程上传mysql文件文件到/export/software目录下

2.解压软件

[root@node1 software]# mkdir /export/server/mysql5.7
[root@node1 software]# cd /export/software/mysql\ 5.7.29/
[root@node1 mysql 5.7.29]# tar -xvf mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar -C /export/server/mysql5.7

3.安装mysql

[root@node1 mysql 5.7.29]# cd /export/server/mysql5.7/
[root@node1 mysql5.7]# rpm -ivh mysql-community-common-5.7.29-1.el7.x86_64.rpm mysql-community-libs-5.7.29-1.el7.x86_64.rpm mysql-community-client-5.7.29-1.el7.x86_64.rpm mysql-community-server-5.7.29-1.el7.x86_64.rpm

4.初始化服务

[root@node1 mysql5.7]# mysqld --initialize

5.修改文件用户和组

[root@node1 mysql5.7]# chown mysql:mysql /var/lib/mysql -R

6.启动mysql服务

[root@node1 mysql5.7]# systemctl start mysqld.service

7.设置开启自动启动

[root@node1 mysql5.7]# systemctl enable mysqld.service

8.查看mysql状态

[root@node1 mysql5.7]# systemctl status mysqld

9.登录mysql

[root@node1 mysql5.7]# Pass=$(grep 'A temporary password' /var/log/mysqld.log |awk '{print $NF}')
​
[root@node1 mysql5.7]# mysql -uroot -p"$Pass"

10.修改root密码且授权远程访问

mysql> alter user user() identified by "123456";
mysql> use mysql;
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
mysql> FLUSH PRIVILEGES;
mysql> exit;

[了解]卸载mysql软件

#关闭mysql服务
[root@binzi ~]# systemctl stop mysqld.service
​
#查找安装mysql的rpm包
[root@binzi ~]# rpm -qa | grep -i mysql      
​
#卸载
[root@binzi ~]# yum remove mysql-community-libs-5.7.29-1.el7.x86_64 mysql-community-common-5.7.29-1.el7.x86_64 mysql-community-client-5.7.29-1.el7.x86_64 mysql-community-server-5.7.29-1.el7.x86_64
​
#查看是否卸载干净
[root@binzi ~]# rpm -qa | grep -i mysql
​
#查找mysql相关目录 删除
[root@binzi ~]# find / -name mysql
[root@binzi ~]# rm -rf /var/lib/mysql
[root@binzi ~]# rm -rf /var/lib/mysql/mysql
[root@binzi ~]# rm -rf /usr/share/mysql
​
#删除默认配置和日志
[root@binzi ~]# rm -rf /etc/my.cnf 
[root@binzi ~]# rm -rf /var/log/mysqld.log

四. 集群设置免密登录

** 友情提醒克隆node1虚拟机的前置条件：node1虚拟机存在且处于关闭状态**

1.克隆出node2虚拟机

1.node1虚拟机: 右键 -> "管理" -> "克隆"

2.图形化弹窗中: "下一页"->"下一页"->选择"创建完整克隆"再"下一页"->填写: "node2" 并且选择对应位置"再点击"完成"

3.node2虚拟机: 右键 -> "设置" -> "NAT模式" -> "高级" -> "生成"Mac地址再'确定' -> 最后点击"确定"

node2基础配置

  • 修改ip地址

[root@node1 /]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
# 注意此操作是在node2中修改ip地址
IPADDR="192.168.88.102"

  • 修改主机名

[root@node1 ~]# vim /etc/hostname 
# 注意此操作是在node2中修改主机名
node2

  • 重启虚拟机

[root@node1 ~]# reboot

  • 查看配置是否生效

[root@node2 ~]# ifconfig

2.克隆出node3虚拟机

node3基础配置

  • 修改ip地址

[root@node1 /]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
# 注意此操作是在node3中修改ip地址
IPADDR="192.168.88.103"

  • 修改主机名

[root@node1 ~]# vim /etc/hostname 
# 注意此操作是在node3中修改主机名
node3

  • 重启虚拟机

[root@node1 ~]# reboot

  • 查看配置是否生效

[root@node3 ~]# ifconfig

3.CRT操作所有会话

SecureCRT软件: "查看 "- >  选择"交互窗口" -> 右键选择"发送交互到所有会话"

4.设置免密登录

  • 三台虚拟机都生成公钥和私钥

    输入命令(注意需要三次回车操作): ssh-keygen

    友情提醒三台虚拟机都执行完命令后,在 /root/.ssh 中会自动生成两个文件: id_rsa 和 id_rsa.pub

  • 分别拷贝公钥给其他虚拟机

    输入命令(注意需要输入yes和密码): ssh-copy-id node1
输入命令(注意需要输入yes和密码): ssh-copy-id node2
输入命令(注意需要输入yes和密码): ssh-copy-id node3

  • 测试免密登录

    输入命令(注意此时会直接登录成功): ssh node1
输入命令(注意此时会直接登录成功): ssh node2
输入命令(注意此时会直接登录成功): ssh node3

五. 安装hadoop软件

1.上传软件

友情提醒使用CRT等客户端远程上传 hadoop-3.3.0-Centos7-64-with-snappy.tar.gz文件到/export/software目录下

2.解压软件

[root@node1 ~]# cd /export/software/
[root@node1 software]# tar -zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz -C /export/server/

3.添加环境变量

[root@node1 software]# vim /etc/profile
# 把如下内容复制到profile文件的最后,注意:记得保存并退出wq
# 小技巧 : 按G + o快速到文件末尾
export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  • 修改完后重启生效

[root@node1 server]# source /etc/profile

4.1修改配置文件[自动方式]

上传文件

友情提醒使用CRT等客户端远程上传 配置好的文件压缩包hadoop-config.tar文件到/export/software目录下

解压文件
[root@node1 ~]# cd /export/software/
[root@node1 software]# tar -xvf hadoop-config.tar -C /export/server/
覆盖原有文件
[root@node1 software]# mv -f /export/server/hadoop-config/* /export/server/hadoop-3.3.0/etc/hadoop/
[root@node1 software]# rm -rf /export/server/hadoop-config*  

4.2配置文件详解[手动方式]

①hadoop-env.sh文件
[root@node1 hadoop]# vim hadoop-env.sh
# 在55行添加JAVA_HOME,因为Hadoop把当前的执行环境当成远程服务器,所以需要重新配置下
export JAVA_HOME=/export/server/jdk1.8.0_65
# 在440行文件末尾添加以下内容
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
② core-site.xml文件
[root@node1 hadoop]# vim core-site.xml
<!--  友情提醒在文件的<configuration></configuration>的标签中添加以下内容:  -->
<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
<property><name>fs.defaultFS</name><value>hdfs://node1:8020</value>
</property>
​
<!-- 设置Hadoop本地保存数据路径 -->
<property><name>hadoop.tmp.dir</name><value>/export/data/hadoop-3.3.0</value>
</property>
​
<!-- 设置HDFS web UI用户身份 -->
<property><name>hadoop.http.staticuser.user</name><value>root</value>
</property>
​
<!-- 整合hive 用户代理设置 -->
<property><name>hadoop.proxyuser.root.hosts</name><value>*</value>
</property>
​
<property><name>hadoop.proxyuser.root.groups</name><value>*</value>
</property>
​
<!-- 开启垃圾桶机制[可选操作] 1440 表示1440分钟也就是24小时一天的时间-->
<property><name>fs.trash.interval</name><value>1440</value>
</property>
③ hdfs-site.xml文件
[root@node1 hadoop]# vim hdfs-site.xml
<!--  友情提醒在文件的<configuration></configuration>的标签中添加以下内容:  -->    <!-- 指定secondarynamenode运行位置 -->
<property><name>dfs.namenode.secondary.http-address</name><value>node2:9868</value></property>
④ mapred-site.xml文件
[root@node1 hadoop]# vim mapred-site.xml
<!--  友情提醒在文件的<configuration></configuration>的标签中添加以下内容:  -->  <!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>
​
<!-- MR程序历史服务器端地址 -->
<property><name>mapreduce.jobhistory.address</name><value>node1:10020</value>
</property>
​
<!-- 历史服务器web端地址 -->
<property><name>mapreduce.jobhistory.webapp.address</name><value>node1:19888</value>
</property>
​
<property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
​
<property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
​
<property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
⑤ yarn-site.xml文件
[root@node1 hadoop]# vim yarn-site.xml
<!--  友情提醒在文件的<configuration></configuration>的标签中添加以下内容:  -->    <!-- 设置YARN集群主角色运行机器位置 -->
<property><name>yarn.resourcemanager.hostname</name><value>node1</value>
</property>
​
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>
​
<!-- 是否将对容器实施物理内存限制 -->
<property><name>yarn.nodemanager.pmem-check-enabled</name><value>false</value>
</property>
​
<!-- 是否将对容器实施虚拟内存限制。 -->
<property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>
​
<!-- 开启日志聚集 -->
<property><name>yarn.log-aggregation-enable</name><value>true</value>
</property>
​
<!-- 设置yarn历史服务器地址 -->
<property><name>yarn.log.server.url</name><value>http://node1:19888/jobhistory/logs</value>
</property>
​
<!-- 保存的时间7天 -->
<property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value>
</property>
⑥ workers文件
[root@node1 hadoop]# vim workers
# 用以下内容把之前内容覆盖
node1
node2
node3

5.拷贝软件到其他机器

  • 友情提醒nod1主机上拷贝到node2和node3中各一份

[root@node1 server]# scp -r /export/server/hadoop-3.3.0  root@node2:/export/server/
[root@node1 server]# scp -r /export/server/hadoop-3.3.0  root@node3:/export/server/

  • node2主机配置环境变量

[root@node2 server]# echo 'export HADOOP_HOME=/export/server/hadoop-3.3.0' >> /etc/profile
[root@node2 server]# echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> /etc/profile
[root@node2 server]# source /etc/profile

  • node3主机配置环境变量

[root@node3 server]# echo 'export HADOOP_HOME=/export/server/hadoop-3.3.0' >> /etc/profile
[root@node3 server]# echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> /etc/profile
[root@node3 server]# source /etc/profile

6.hadoop集群启动[重点]

要启动Hadoop集群，其实就是启动HDFS和YARN两个集群

① 数据初始化

友情提醒首次启动HDFS必须对其进行格式化操作 : 本质是清理和准备工作,因为此时的HDFS在物理上还是不存在的

注意： 初始化操作必须在node1中执行

[root@node1 ~]# hdfs namenode -format
②单节点逐个启动[了解]
启动HDFS集群

  • 在主节点上使用以下命令启动HDFS NameNode

    [root@node1 ~]# hdfs --daemon start namenode

  • 在每个从节点上使用以下命令启动HDFS DataNode

    [root@node2 ~]# hdfs --daemon start datanode
[root@node3 ~]# hdfs --daemon start datanode

  • node2上使用以下命令启动HDFS SecondaryNameNode

    [root@node2 ~]# hdfs --daemon start secondarynamenode

启动YARN集群

  • 在主节点上使用以下命令启动YARN ResourceManager

    [root@node1 ~]# yarn --daemon start resourcemanager

  • 在每个从节点上使用以下命令启动YARN nodemanager

    [root@node2 ~]# yarn --daemon start nodemanager
[root@node3 ~]# yarn --daemon start nodemanager

注意: 如果想要停止某个节点上某个角色，只需要把命令中的start改为stop即可

③单个集群启动和关闭[了解]
[root@node1 ~]# stop-dfs.sh
[root@node1 ~]# stop-yarn.sh
​
[root@node1 ~]# start-dfs.sh
[root@node1 ~]# start-yarn.sh
④jps查看进程

jps是jdk提供的一个查看当前java进程的小工具， 全称是JavaVirtual Machine Process Status Tool

[root@node1 ~]# jps
[root@node2 ~]# jps
[root@node3 ~]# jps
⑤一键启动和关闭[重点]

如果配置了etc/hadoop/workers和ssh免密登录,则可使用脚本一键操作Hadoop两个集群的相关进程，在主节点所设定的机器上执行

[root@node1 ~]# stop-all.sh
​
[root@node1 ~]# start-all.sh
⑥启动jobHistory服务[重点]

JobHistory用来记录已经finished的mapreduce运行日志，日志信息存放于HDFS目录中

[root@node1 ~]# mapred --daemon start historyserver

[了解]hadoop shell

[root@node1 ~]# hdfs dfs -ls /
[root@node1 ~]# hdfs dfs -mkdir /binzi
[root@node1 ~]# hdfs dfs -touch /binzi/1.txt /binzi/2.txt
[root@node1 ~]# hdfs dfs -ls /binzi
​
[root@node1 ~]# hdfs dfs -mv /binzi /binzi2
[root@node1 ~]# hdfs dfs -cp /binzi2 /binzi3
​
[root@node1 ~]# echo hello binzi > a.txt
[root@node1 ~]# hdfs dfs -put /root/a.txt /binzi
[root@node1 ~]# hdfs dfs -cat /binzi/a.txt
[root@node1 ~]# hdfs dfs -get /binzi/a.txt /
​
[root@node1 ~]# hdfs dfs -rm /binzi/2.txt
[root@node1 ~]# hdfs dfs -rm -r /binzi
[root@node1 ~]# hdfs dfs -ls /
​
[root@node1 ~]# hdfs dfs 回车

六. 集群web-ui[重点]

一旦Hadoop集群启动并运行，可以通过web-ui进行集群查看，如下所述：

访问HDFS的NameNode主机 : http://192.168.88.101:9870/

访问YARN的ResourceManager主机 : http://192.168.88.101:8088/

注意: 想要上传文件夹需要配置本地域名映射

本地配置域名映射

如果在windows下，去访问 node1 或者是访问 node1.itcast.cn 的时候是被不到。

可以进入 C:\Windows\System32\drivers\etc 目录打开hosts文件,添加以下内容:

192.168.88.101 node1.itcast.cn node1
192.168.88.102 node2.itcast.cn node2
192.168.88.103 node3.itcast.cn node3

配置完成后,可以直接通过node1访问

HDFS: http://node1:9870/

YARN: http://node1:8088/

查看计算任务jobhistory

jobhistory: http://node1:19888/jobhistory

七. 安装hive软件

课程中采用远程模式部署hive的metastore服务。在node1机器上安装。

注意：以下两件事在启动hive之前必须确保正常完成。

1、提前安装mysql,确保具有远程访问的权限

2、启动hadoop集群,确保集群正常能够访问

1.上传软件

友情提醒使用CRT等客户端远程上传 apache-hive-3.1.2-bin.tar.gz 文件到/export/software目录下

2.解压软件

[root@node1 software]# cd /export/software/
[root@node1 software]# tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /export/server/

3.解决Hive与Hadoop之间guava版本差异

[root@node1 software]# rm -rf /export/server/apache-hive-3.1.2-bin/lib/guava-19.0.jar
[root@node1 software]# cp /export/server/hadoop-3.3.0/share/hadoop/common/lib/guava-27.0-jre.jar /export/server/apache-hive-3.1.2-bin/lib/

4.添加环境变量

[root@node1 software]# vim /etc/profile
# 把如下内容复制到profile文件的最后,注意:记得保存并退出wq
#  友情提醒小技巧 : 按G + o快速到文件末尾
export HIVE_HOME=/export/server/apache-hive-3.1.2-bin
export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/sbin

  • 修改完后重启生效

[root@node1 server]# source /etc/profile

5.修改配置文件

①hive-env.sh

  • 修改文件名称

    [root@node1 software]# cd /export/server/apache-hive-3.1.2-bin/conf
[root@node1 conf]# mv hive-env.sh.template hive-env.sh

  • 打开文件写入数据

    [root@node1 conf]# vim hive-env.sh
    # 把如下内容复制到profile文件的最后,注意:记得保存并退出wq
# 小技巧 : 按G + o快速到文件末尾
export HADOOP_HOME=/export/server/hadoop-3.3.0
export HIVE_CONF_DIR=/export/server/apache-hive-3.1.2-bin/conf
export HIVE_AUX_JARS_PATH=/export/server/apache-hive-3.1.2-bin/lib

②hive-site.xml

友情提醒该文件默认是没有的，需要我们自己创建

  • 打开文件写入数据

    [root@node1 conf]# vim hive-site.xml
    <configuration>
<!-- 存储元数据mysql相关配置 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://node1:3306/hive3?createDatabaseIfNotExist=true&amp;useSSL=false</value>
</property>
​
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
​
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
​
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
​
​
​
<!-- H2S运行绑定host -->
<property>
<name>hive.server2.thrift.bind.host</name>
<value>node1</value>
</property>
​
<!-- 远程模式部署metastore metastore地址 -->
<property>
<name>hive.metastore.uris</name>
<value>thrift://node1:9083</value>
</property>
​
​
<!-- 关闭元数据存储授权  --> 
<property>
<name>hive.metastore.event.db.notification.api.auth</name>
<value>false</value>
</property>
</configuration>

6.上传mysql驱动

  • 上传驱动

    上传mysql-connector-java-5.1.32.jar到 /export/software/mysql 5.7.29/ 下

  • 移动驱动

    [root@node1 conf]# cd /export/software/mysql\ 5.7.29/
[root@node1 mysql 5.7.29]# cp mysql-connector-java-5.1.32.jar /export/server/apache-hive-3.1.2-bin/lib/

7.初始化元数据

友情提醒按如下操作初始化成功后会在mysql中创建74张表

[root@node1 mysql 5.7.29]# cd /export/server/apache-hive-3.1.2-bin/
[root@node1 apache-hive-3.1.2-bin]# schematool -initSchema -dbType mysql -verbos

注意: 初始化成功会在 mysql中创建 74张表

[root@node1 apache-hive-3.1.2-bin]# mysql -uroot -p123456
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| hive3              |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
5 rows in set (0.00 sec)

8.在hdfs创建hive存储目录

友情提醒前提: 启动hdfs服务

[root@node1 apache-hive-3.1.2-bin]# hdfs dfs -mkdir /tmp
[root@node1 apache-hive-3.1.2-bin]# hadoop fs -mkdir -p /user/hive/warehouse
[root@node1 apache-hive-3.1.2-bin]# hadoop fs -chmod g+w /tmp
[root@node1 apache-hive-3.1.2-bin]# hadoop fs -chmod g+w /user/hive/warehouse

9.启动hive服务[重点]

  • 启动metastore服务

    一代客户端 : 启动metastore服务

    输入 命令: hive 可以直接进行数据库操作

    # 前台启动(一般不用)  # ctrl+c关闭

    [root@node1 apache-hive-3.1.2-bin]# hive --service metastore
[root@node1 apache-hive-3.1.2-bin]# hive --service metastore --hiveconf hive.root.logger=DEBUG,console
    #后台启动 回车后进程挂起  关闭使用jps+ kill -9

    [root@node1 apache-hive-3.1.2-bin]# nohup hive --service metastore &
[root@node1 apache-hive-3.1.2-bin]# hive
    ​# 直接输入show databases;查看表

    hive> show databases;
    # 结果OK default...说明成功

  • 启动hiveserver2服务

    二代客户端 : 启动metastore和hiveserver2服务

    输入命令: beeline 两次验证

    注意: 启动hiveserver2需要一定的时间 不要启动之后立即beeline连接 可能连接不上

    [root@node1 apache-hive-3.1.2-bin]# nohup hive --service metastore &
[root@node1 apache-hive-3.1.2-bin]# nohup hive --service hiveserver2 &
[root@node1 apache-hive-3.1.2-bin]# lsof -i:10000
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    18804 root  520u  IPv6 266172      0t0  TCP *:ndmp (LISTEN)
[root@node1 apache-hive-3.1.2-bin]# beeline
    ​# 先输入!connect jdbc:hive2://node1:10000连接

    beeline> !connect jdbc:hive2://node1:10000
    # 再输入用户名root,密码不用输入直接回车即可

    Enter username for jdbc:hive2://node1:10000: root
Enter password for jdbc:hive2://node1:10000:
    # 输入show databases;查看表

    0: jdbc:hive2://node1:10000> show databases;
    # 结果OK default...说明成功

八. 安装zookeeper软件

1.上传软件

友情提醒使用CRT等客户端远程上传 zookeeper-3.4.6.tar.gz 文件到/export/software目录下

2.解压软件

[root@node1 ~]# cd /export/software/
[root@node1 software]# tar -zxvf zookeeper-3.4.6.tar.gz -C /export/server/
[root@node1 software]# cd /export/server/
[root@node1 server]# mv zookeeper-3.4.6 zookeeper

3.添加环境变量

[root@node1 server]# vim /etc/profile
# 把如下内容复制到profile文件的最后,注意:记得保存并退出wq
# 小技巧 : 按G + o快速到文件末尾
export ZOOKEEPER_HOME=/export/server/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

  • 修改完后重启生效

[root@node1 server]# source /etc/profile

4.创建数据目录添加myid值为1

[root@node1 server]# mkdir -p /export/server/zookeeper/zkdatas/
[root@node1 server]# echo 1 > /export/server/zookeeper/zkdatas/myid

5.修改配置文件

[root@node1 server]# cd /export/server/zookeeper/conf/
[root@node1 conf]# cp zoo_sample.cfg zoo.cfg
[root@node1 conf]# vim zoo.cfg
# 修改数据存放目录
dataDir=/export/server/zookeeper/zkdatas
# 添加集群中服务地址
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888

6.拷贝到软件到其他机器

  • nod1主机上拷贝到node2和node3中各一份

[root@node1 conf]# cd /export/server/
[root@node1 server]# scp -r /export/server/zookeeper/ node2:/export/server/
[root@node1 server]# scp -r /export/server/zookeeper/ node3:/export/server/

  • node2上修改myid值并且添加环境变量

[root@node2 ~]# echo 2 > /export/server/zookeeper/zkdatas/myid
# 配置环境变量
[root@node2 ~]# echo 'export ZOOKEEPER_HOME=/export/server/zookeeper' >> /etc/profile
[root@node2 ~]# echo 'export PATH=$PATH:$ZOOKEEPER_HOME/bin' >> /etc/profile
[root@node2 ~]# source /etc/profile

  • node3上修改myid值并且添加环境变量

[root@node3 ~]# echo 3 > /export/server/zookeeper/zkdatas/myid
# 配置环境变量
[root@node3 ~]# echo 'export ZOOKEEPER_HOME=/export/server/zookeeper' >> /etc/profile
[root@node3 ~]# echo 'export PATH=$PATH:$ZOOKEEPER_HOME/bin' >> /etc/profile
[root@node3 ~]# source /etc/profile

7.zookeeper服务启动[重点]

如下命令三台服务器均可操作: stop:停止 start:开启 status:状态

友情提醒可以使用crt发送交互到所有会话

# 启动服务
[root@node123 bin]# zkServer.sh start
​
# 查看状态(leader或者follower或者observer)
[root@node123 bin]# zkServer.sh status
​
# 如果想关闭可以使用stop
[root@node123 bin]# zkServer.sh stop

8.命令jps查看进程

jps是jdk提供的一个查看当前java进程的小工具， 全称是JavaVirtual Machine Process Status Tool

[root@node1 ~]# jps
[root@node2 ~]# jps
[root@node3 ~]# jps

[了解]zookeeper shell

  • 进入命令行工具: zkCli.sh -server 主机地址

    # 方式1:直接连接本地
[root@node1 ~]# zkCli.sh
​
# 方式2:连接其他节点
[root@node1 ~]# zkCli.sh -server node2

  • 查看zk shell命令: help

    [zk: node1(CONNECTED) 0] help

  • 创建节点: create [-e] [-s] path data acl 解释:默认持久节点,-e表示临时节点，-s表示序列化节点, acl用来进行权限控制

    # 创建节点
[zk: node1(CONNECTED) 1] create /a 111111
[zk: node1(CONNECTED) 2] create -e /b 222222
[zk: node1(CONNECTED) 3] create -s /aa 333333
[zk: node1(CONNECTED) 4] create -e -s /bb 444444
# 查看节点
[zk: node1(CONNECTED) 5] ls /
[a, b, bb0000000004, aa0000000003, zookeeper]
[zk: node1(CONNECTED) 6] quit
# 再次登录后查看节点
[zk: node1(CONNECTED) 0] ls /
[a, aa0000000003, zookeeper]
# 删除节点
[zk: node1(CONNECTED) 1] rmr /a
[zk: node1(CONNECTED) 2] rmr /aa0000000003
# 历史命令
[zk: node1(CONNECTED) 3] history

九. Hadoop高可用环境搭建

友情提醒确定提前安装好了hadoop和zookeeper

1.删除原有数据文件

三台机器都要进行删除

可以使用CRT发送交互到所有会话

rm -rf /export/data/hadoop

2.安装软件

三台机器都要进行安装

注意: 如果网络较慢安装失败,那就重复安装即可

# 实现多个服务的通讯
yum install psmisc -y  

如果yum不能使用请配置yum源 ( 能下载安装请忽略 )

1.修改原有的yum仓库文件.
进入操作目录: cd /etc/yum.repos.d

mv CentOS-Base.repo  CentOS-Base.repo.bak
2.下载阿里云的镜像文件

curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
3.情况缓存

yum clean all
4.建立新的缓存

yum makecache

3.修改配置文件

先只修改node1,最后拷贝给其他机器

进入hadoop目录
[root@node1 /]# cd /export/server/hadoop-3.3.0/etc/hadoop/
[root@node1 hadoop]# ls
修改hadoop-env.sh

在文件最后添加下面两行

export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
修改core-site.xml

注意： 将之前 configuration 里面的内容全部替换掉

<configuration>
<!-- HA集群名称，该值要和hdfs-site.xml中的配置保持一致 -->
<property><name>fs.defaultFS</name><value>hdfs://cluster1</value>
</property>
​
<!-- hadoop本地磁盘存放数据的公共目录 -->
<property><name>hadoop.tmp.dir</name><value>/export/data/ha-hadoop</value>
</property>
​
<!-- ZooKeeper集群的地址和端口-->
<property><name>ha.zookeeper.quorum</name><value>node1:2181,node2:2181,node3:2181</value>
</property>
​
<!-- 整合hive 用户代理设置 -->
<property><name>hadoop.proxyuser.root.hosts</name><value>*</value>
</property>
​
<property><name>hadoop.proxyuser.root.groups</name><value>*</value>
</property>
</configuration>
​
修改hdfs-site.xml

友情提醒： 将之前 configuration 里面的内容全部替换掉

<configuration>
<!--指定hdfs的nameservice为cluster1，需要和core-site.xml中的保持一致 -->
<property><name>dfs.nameservices</name><value>cluster1</value>
</property>
​
<!-- cluster1下面有两个NameNode，分别是nn1，nn2 -->
<property><name>dfs.ha.namenodes.cluster1</name><value>nn1,nn2</value>
</property>
​
<!-- nn1的RPC通信地址 -->
<property><name>dfs.namenode.rpc-address.cluster1.nn1</name><value>node1:8020</value>
</property>
​
<!-- nn1的http通信地址 -->
<property><name>dfs.namenode.http-address.cluster1.nn1</name><value>node1:50070</value>
</property>
​
<!-- nn2的RPC通信地址 -->
<property><name>dfs.namenode.rpc-address.cluster1.nn2</name><value>node2:8020</value>
</property>
​
<!-- nn2的http通信地址 -->
<property><name>dfs.namenode.http-address.cluster1.nn2</name><value>node2:50070</value>
</property>
​
<!-- 指定NameNode的edits元数据在JournalNode上的存放位置 -->
<property><name>dfs.namenode.shared.edits.dir</name><value>qjournal://node1:8485;node2:8485;node3:8485/cluster1</value>
</property>
​
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property><name>dfs.journalnode.edits.dir</name><value>/export/data/journaldata</value>
</property>
​
<!-- 开启NameNode失败自动切换 -->
<property><name>dfs.ha.automatic-failover.enabled</name><value>true</value>
</property>
​
<!-- 指定该集群出故障时，哪个实现类负责执行故障切换 -->
<property><name>dfs.client.failover.proxy.provider.cluster1</name><value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
​
<!-- 配置隔离机制方法-->
<property><name>dfs.ha.fencing.methods</name><value>sshfence</value>
</property>
​
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property><name>dfs.ha.fencing.ssh.private-key-files</name><value>/root/.ssh/id_rsa</value>
</property>
​
<!-- 配置sshfence隔离机制超时时间 -->
<property><name>dfs.ha.fencing.ssh.connect-timeout</name><value>30000</value>
</property>
</configuration>
​
修改yarn-site.xml

友情提醒： 将之前 configuration 里面的内容全部替换掉

<configuration>
<!-- 开启RM高可用 -->
<property><name>yarn.resourcemanager.ha.enabled</name><value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property><name>yarn.resourcemanager.cluster-id</name><value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property><name>yarn.resourcemanager.ha.rm-ids</name><value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property><name>yarn.resourcemanager.hostname.rm1</name><value>node1</value>
</property>
<property><name>yarn.resourcemanager.hostname.rm2</name><value>node2</value>
</property>
<!-- 指定zk集群地址 -->
<property><name>yarn.resourcemanager.zk-address</name><value>node1:2181,node2:2181,node3:2181</value>
</property>
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>
</configuration>
​
拷贝给node2
[root@node1 ~]# scp -r /export/server/hadoop-3.3.0/ node2:/export/server/
拷贝给node3
[root@node1 ~]# scp -r /export/server/hadoop-3.3.0/ node3:/export/server/

4.启动高可用服务

注意：一定要按照以下的顺序进行启动

启动Zookeeper服务

三台机器都启动

zkServer.sh start
启动journalnode服务

三台机器都要启动

hadoop-daemon.sh start journalnode

cd /export/data : 进入目录查看journaldata目录是否生成

初始化 namenode

先在node1上执行初始化

[root@node1 data]# hdfs namenode -format
​
# 查看ha-hadoop目录是否生成
[root@node1 data]# ls
ha-hadoop  journaldata

将初始化生成的目录，复制到 node2 下

[root@node1 data]# scp -r /export/data/ha-hadoop/ node2:/export/data/
格式化zkfc服务

注意： 要在 node1 上进行启动

[root@node1 data]# hdfs zkfc -formatZK
启动hadoop服务

注意: 要在node1 上进行启动

DFSZKFailoverController服务真正是hadoop启动起来的

[root@node1 data]# start-all.sh
查看所有服务
jps

5.web页面查看

hdfs服务: 192.168.88.161:50070         192.168.88.162:50070
yarn服务: 192.168.88.161:8088         192.168.88.162:8088

-- 关闭主hdfs 观察备用是否切换.
hdfs --daemon stop namenode

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/8935.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

多线程和线程同步复习

多线程和线程同步复习

多线程和线程同步复习 进程线程区别创建线程线程退出线程回收全局写法传参写法 线程分离线程同步同步方式 互斥锁互斥锁进行线程同步 死锁读写锁api细说读写锁进行线程同步 条件变量生产者消费者案例问题解答加强版生产者消费者 总结信号量信号量实现生产者消费者同步-->一个…
阅读更多...
MySQL_第13章_视图

MySQL_第13章_视图

1. 常见的数据库对象 2. 视图概述 2.1 为什么使用视图&#xff1f; 视图一方面可以使用表的一部分而不是所有的表&#xff0c;另一方面也可以针对不同的用户制定不同的查询视图。 2.2 视图的理解 视图是一种虚拟表&#xff0c;本身是不具有数据的&#xff0c;占用很少的内存…
阅读更多...
Python数据分析-Netflix数据分析和可视化

Python数据分析-Netflix数据分析和可视化

一、研究背景 在当今时代&#xff0c;流媒体技术迅猛发展&#xff0c;如风暴般席卷全球娱乐产业&#xff0c;重塑了大众的娱乐消费模式。Netflix 在这一潮流中一马当先&#xff0c;成为全球首屈一指的在线流媒体平台。自 2007 年开启流媒体服务后&#xff0c;Netflix 就马不停…
阅读更多...
数据集市是什么？有什么优势？

数据集市是什么？有什么优势？

一、数据集市是什么&#xff1f; 1、数据集市的产生背景&#xff1a; 因为数据仓库的工作范围和成本比较巨大&#xff0c;技术部门必须对所有的以全企业的眼光对待任何一次决策分析&#xff0c;这样就变成了成本高、耗时高的大项目&#xff0c;而且这种集中式的数据处理方式往往…
阅读更多...
Cross Modal Transformer: Towards Fast and Robust 3D Object Detection

Cross Modal Transformer: Towards Fast and Robust 3D Object Detection

代码地址 https://github.com/junjie18/CMT 1. 引言 在本文中&#xff0c;我们提出了Cross-Modal Transformer&#xff08;CMT&#xff09;&#xff0c;这是一种简单而有效的端到端管道&#xff0c;用于鲁棒的3D对象检测&#xff08;见图1&#xff08;c&#xff09;&#xf…
阅读更多...
Oracle数据库 查看SQL执行计划的几种方法

Oracle数据库 查看SQL执行计划的几种方法

前言 在日常的运维工作中&#xff0c;SQL优化是DBA的进阶技能&#xff0c;SQL优化的前提是要看SQL的执行计划是否正确&#xff0c;下面分享几种查看执行计划的方法&#xff0c;每一种方法都各有各的好处&#xff0c;可以根据特定场景选择某种方法。 一.使用AUTOTRACE查看执行…
阅读更多...
简单介绍Nginx服务器的反向代理、负载均衡

简单介绍Nginx服务器的反向代理、负载均衡

欢迎来到“雪碧聊技术”CSDN博客&#xff01; 在这里&#xff0c;您将踏入一个专注于Java开发技术的知识殿堂。无论您是Java编程的初学者&#xff0c;还是具有一定经验的开发者&#xff0c;相信我的博客都能为您提供宝贵的学习资源和实用技巧。作为您的技术向导&#xff0c;我将…
阅读更多...
域名+服务器+Nginx+宝塔使用SSL证书配置HTTPS

域名+服务器+Nginx+宝塔使用SSL证书配置HTTPS

前言 在我的前面文章里&#xff0c;有写过一篇文章 linux服务器宝塔从头部署别人可访问的网站 在这篇文章&#xff0c;有教学怎么使用宝塔和买的服务器的公网IP&#xff0c;以及教怎么打包vue和springboot去部署不用域名的网站让别人访问 那么&#xff0c;这篇文章将在这个…
阅读更多...
Chromium 中chrome.webRequest扩展接口定义c++

Chromium 中chrome.webRequest扩展接口定义c++

一、chrome.webRequest 注意 &#xff1a;从 Manifest V3 开始&#xff0c;"webRequestBlocking" 权限不再适用于大多数扩展程序。以 "declarativeNetRequest" 为例&#xff0c;它允许使用 declarativeNetRequest API。除了 "webRequestBlocking&quo…
阅读更多...
.NET中通过C#实现Excel与DataTable的数据互转

.NET中通过C#实现Excel与DataTable的数据互转

在.NET框架中&#xff0c;使用C#进行Excel数据与DataTable之间的转换是数据分析、报表生成、数据迁移等操作中的常见需求。这一过程涉及到将Excel文件中的数据读取并加载至DataTable中&#xff0c;以便于利用.NET提供的丰富数据处理功能进行操作&#xff0c;同时也包括将DataTa…
阅读更多...
多个NVR同时管理EasyNVR多品牌NVR管理工具/设备：IP常见问题解决方案

多个NVR同时管理EasyNVR多品牌NVR管理工具/设备：IP常见问题解决方案

随着视频监控技术的不断发展&#xff0c;NVR&#xff08;网络视频录像机&#xff09;已经成为现代安防系统的重要组成部分。而为了更高效地管理多个品牌的NVR设备&#xff0c;EasyNVR这一多品牌NVR管理工具应运而生。然而&#xff0c;在实际使用过程中&#xff0c;尤其是在多个…
阅读更多...
虚幻引擎 CEO 谈元宇宙：发展、策略与布局

虚幻引擎 CEO 谈元宇宙：发展、策略与布局

在当今科技领域&#xff0c;元宇宙无疑是最热门的话题之一。Epic Games 首席执行官 Tim Sweeney 对元宇宙的未来发展充满信心&#xff0c;他认为开放元宇宙将融合娱乐、游戏和科技产业&#xff0c;带来一个光明的未来。本文将深入探讨采访中的关键内容&#xff0c;分析元宇宙的…
阅读更多...
支付宝与华为终端联手，移动支付即将进入“碰时代”

支付宝与华为终端联手，移动支付即将进入“碰时代”

大家好&#xff0c;我是小悟。 支付宝与华为终端强强联手&#xff0c;达成了战略合作&#xff01;这可不仅仅是个简单的合作哦&#xff0c;它预示着我们的移动支付方式即将迎来一场革命性的变革&#xff0c;正式进入“碰时代”&#xff01; 支付宝&#xff0c;作为全球领先的…
阅读更多...
常用机器人算法原理介绍

常用机器人算法原理介绍

一、引言 随着科技的不断发展&#xff0c;机器人技术在各个领域得到了广泛应用。机器人算法是机器人实现各种功能的核心&#xff0c;它决定了机器人的行为和性能。本文将介绍几种常用的机器人算法原理&#xff0c;包括路径规划算法、定位算法和运动控制算法。 二、路径规划算法…
阅读更多...
【go从零单排】迭代器（Iterators）

【go从零单排】迭代器（Iterators）

&#x1f308;Don’t worry , just coding! 内耗与overthinking只会削弱你的精力&#xff0c;虚度你的光阴&#xff0c;每天迈出一小步&#xff0c;回头时发现已经走了很远。 &#x1f4d7;概念 在 Go 语言中&#xff0c;迭代器的实现通常不是通过语言内置的迭代器类型&#x…
阅读更多...
Java 连接操作 MySQL 数据库（增删查改操作）

Java 连接操作 MySQL 数据库（增删查改操作）

环境 MySQL 5.5 版本eclipseMySQL 连接驱动 mysql-connector-java-5.1.18-bin.jar mysql8.0之前的版本与之后的版本使用的jar包是不同的&#xff0c;在使用时也有一定的区别。这里&#xff0c;我的 MySQL 版本为 5.5。 准备工作 将 jar 包添加到项目中&#xff0c;右键项目&a…
阅读更多...
STL---迭代器

STL---迭代器

本文来源&#xff1a;《C语言程序设计》第10章 理解迭代器对于理解STL框架并掌握STL的使用至关重要。 迭代器是泛化的指针&#xff0c;STL算法利用迭代器对存储在容器中的元素序列进行遍历&#xff0c;迭代器提供了访问容器中每个元素的方法。 虽然指针也是一种迭代器&#…
阅读更多...
TSMI252012PMX-3R3MT功率电感详细解析

TSMI252012PMX-3R3MT功率电感详细解析

TSMI252012PMX-3R3MT功率电感详细解析 一、引言 在现代电子设备的不断小型化和高性能化的趋势下&#xff0c;功率电感作为电路中的关键元件&#xff0c;其性能的好坏直接影响到整个电路的稳定性和效率。TSMI252012PMX-3R3MT作为深圳市时源芯微科技有限公司&#xff08;TimeSo…
阅读更多...
Ubuntu22.04安装DataEase

Ubuntu22.04安装DataEase

看到DataEase的驾驶舱&#xff0c;感觉比PowerBI要好用一点&#xff0c;于是搭建起来玩玩。Dataease推荐的操作系统是Ubuntu22.04/Centos 7。 下载了Ubuntu22.04和DataEase 最新版本的离线安装包 一.安装ubuntu22.04 在安装的时候&#xff0c;没有顺手设置IP地址信息&#xff…
阅读更多...
OpenEuler 下 Docker 安装、配置与测试实例

OpenEuler 下 Docker 安装、配置与测试实例

文章目录 前言1. 环境准备2. 下载 Docker3.配置服务文件4.配置加速器加速下载docker镜像5. 验证 Docker 安装 前言 Docker 安装大致分为包管理器安装、脚本安装、离线手动安装、容器编排工具安装、桌面版安装等&#xff0c;每种安装各有特点&#xff0c;但涉及知识面不少&…
阅读更多...
最新文章

Copyright @ 2022~2023