开启集群环境
本次环境为单节点伪集群环境,环境中已经安装JDK1.8、Hadoop2.7.7、Mysql5.7、hive2.3.4。—
1.环境中已经安装/root/software/hadoop-2.7.7,格式化HDFS,开启集群,查看集群状态。(HDFS端口为9000,其他端口默认)
2.环境中已经安装数据库、hive、spark、hbase等组件,需要开启mysql服务,初始化数据库,即可开启Hive客户端等其服务。
本步骤用于开启集群环境,用于后续数据分析(Hadoop Mapreduce/Hive)使用。
Zookeeper配置文件:/root/software/zookeeper-3.4.14/conf/zoo.cfg (位置为32行,注意为外网IP)
服务开启命令:/root/software/zookeeper-3.4.14/bin/zkServer.sh start
# 1.修改云主机host文件,添加内网IP,对应映射名为hadoop000,实现云主机自身使用root用户ssh访问hadoop000免密登陆
vim /etc/hosts
# 修改为内网IP,主机名为hadoop000
172.18.39.187 hadoop000hostnamectl set-hostname hadoop000 && bashssh-copy-id -i /root/.ssh/id_rsa.pub hadoop000# 2.配置文件中修改zookeeper主机IP为外网地址,启动zookeeper(具体见步骤说明)vim /root/software/zookeeper-3.4.14/conf/zoo.cfg
:set nu
# 32行
# 修改zookeeper主机IP,注意此为外网IP
server.1=172.18.39.187:2888:3888zkServer.sh start
zkServer.sh status# 3.格式化HDFS文件系统
hadoop namenode -format# 4.启动Hadoop集群
start-all.sh
> yes
> yes