CDH大数据平台搭建

各大开源以及商用厂商的大数据产品汇总：

https://zhuanlan.zhihu.com/p/675011462

Ambari 界面：

一、安装一个新的虚拟机

配置要求：8核，10G内存，最好是200G

修改yum源：

修改阿里云的镜像文件：
1、cd /etc/yum.repos.d/ 
2、备份⼀下：cp CentOS-Base.repo CentOS-Base.repo.bak
3、下载阿⾥云镜像到本地：curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
4、清除yum的缓存yum clean allyum makecache
5、yum install -y ntpdateyum install -y vim

映射：

vi /etc/hosts
192.168.233.132 cdh

二、CDH简介

全称Cloudera’s Distribution Including Apache Hadoop。

hadoop的版本 (Apache、CDH、Hotonworks版本)

在公司中一般使用cdh多一些（收费的）、也有公司使用阿里云大数据平台、微软的大数据平台。

国内也有一些平台：星环大数据，一个朋友的公司（优刻得UCloud）

ClouderaManager ：简称 CM (CDH的管理界面) 。Cloudera Manager是用于管理CDH群集的端到端应用程序。

三、CM的安装

1、下载

1. 下载包：https://archive.cloudera.com/cdh6/6.2.1/parcels/    --cdh的地址https://archive.cloudera.com/cm6/6.2.1/redhat7/yum/RPMS/x86_64/   --CM的地址不用下载了，已经下载好了

2、安装依赖包

	yum install -y cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse-libs bind-utils libxslt fuseyum install -y /lib/lsb/init-functions createrepo deltarpm python-deltarpmyum install -y mod_ssl openssl-devel python-psycopg2 MySQL-python

3、安装httpd(只需要在部署本地yum源的机器上安装即可，不用三台全部安装)

yum install httpd
yum install createrepo

4、一些其他的配置

5. 关闭防火墙
查看防火墙状态： systemctl status firewalld
绿的running表示防火墙开启
执行关闭命令： systemctl stop firewalld
再次执行查看防火墙命令：systemctl status firewalld
执行开机禁用防火墙自启命令  ： systemctl disable firewalld
完成6. 关闭selinux（在配置文件中第一次设置时需要重启服务器）
setenforce 0vim /etc/selinux/config
将SELINUX=enforcing
改为SELINUX=disabledreboot 重启的意思    
init 0 关机   
init 6 重启

5、软件上传

systemctl start httpd  可以通过网址访问一下：http://192.168.233.132,类似于ftp服务器cd /var/www/html/
mkdir -p cm6/6.2.1/redhat7/yum/RPMS/x86_64/
cd cm6/6.2.1/redhat7/yum/RPMS/x86_64/
上传cm6中的文件到此目录
cd  /var/www/html/cm6/6.2.1/
上传allkeys.asc文件到/var/www/html/cm6/6.2.1/目录下cd /var/www/html/
mkdir -p cdh6/6.2.1/parcels/
上传cdh6中的文件到此目录访问测试：http://192.168.233.132/cm6/6.2.1/redhat7/yum/RPMS/x86_64/

6、生成repodata目录

cd /var/www/html/cm6/6.2.1/redhat7/yum
createrepo .

7、配置本地yum源

cd /etc/yum.repos.d/
vim cloudera-manager.repo
填写，请修改为自己的IP
[cloudera-manager]
name=Cloudera Manager
baseurl=http://192.168.233.132/cm6/6.2.1/redhat7/yum/
gpgcheck=0
enabled=1执行命令：
yum clean all
yum list | grep cloudera    --这个步骤稍微慢一些，等待即可效果如下：
[root@cdh yum.repos.d]# yum list | grep cloudera
cloudera-manager-agent.x86_64               6.2.1-1426065.el7          cloudera-manager
cloudera-manager-daemons.x86_64             6.2.1-1426065.el7          cloudera-manager
cloudera-manager-server.x86_64              6.2.1-1426065.el7          cloudera-manager
cloudera-manager-server-db-2.x86_64         6.2.1-1426065.el7          cloudera-manager
enterprise-debuginfo.x86_64                 6.2.1-1426065.el7          cloudera-manager
oracle-j2sdk1.8.x86_64                      1.8.0+update181-1          cloudera-manager

8、创建一个linux新用户

创建cloudera-scm用户（centos7要求必须有，centos6没有要求）
useradd cloudera-scm
passwd cloudera-scmtest123456
--免密钥登录
echo "cloudera-scm ALL=(root)NOPASSWD:ALL" >> /etc/sudoers
切换新用户试一下：
su - cloudera-scm
试玩之后，再回来
exit

9、安装mysql

先删除linux中已经存在的mysql的相关内容：第一步：下载repo，并安装mysql-server
先安装wget  yum install -y wget 
进入 /opt 目录
下载安装引导包：
wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql-community-server假如报如下错误：
失败的软件包是：mysql-community-common-5.7.43-1.el7.x86_64GPG  密钥配置为：file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql报错使用这个语句：
rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022
这个步骤需要网络，并根据网速会花些时间，安装完成后会覆盖之前的mariadb。
如果提示-bash: wget: 未找到命令，则：yum -y install wget
修复完错误之后继续安装mysql:
yum -y install mysql-community-server假如还出问题，使用如下命令：sudo yum install mysql-server --nogpgcheck第二步：mysql设置
启动：
systemctl start mysqld
查看运行情况：
systemctl status mysqld第三步：登录mysql
查看mysql密码
grep "password" /var/log/mysqld.log
登录mysql
mysql -uroot -p  敲回车，粘贴密码第四步：修改密码
取消mysql密码规范限制
set global validate_password_policy=0;
set global validate_password_length=1;
重设密码
alter user 'root'@'localhost' identified by '123456';
flush privileges;第五步：卸载repo包
此时还有一个问题，因为安装了yum repository，以后每次yum都会自动更新，耗费时间，所以卸载掉：
yum -y remove mysql57-community-release-el7-10.noarch第六步：安装mysql（后续作为元数据库）
create database scm DEFAULT CHARACTER SET utf8;
grant all PRIVILEGES on *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
grant all PRIVILEGES on *.* TO 'root'@'localhost' IDENTIFIED BY '123456' WITH GRANT OPTION;
flush privileges;

10、安装server服务

yum install -y oracle-j2sdk1.8-1.8.0+update181-1.x86_64
yum install -y enterprise-debuginfo-6.2.1-1426065.el7.x86_64
--最核心的语句：安装cm-server服务
yum install -y cloudera-manager-server-6.2.1-1426065.el7.x86_64
yum install -y cloudera-manager-server-db-2-6.2.1-1426065.el7.x86_64

注意事项：如果没有在httpd服务下面添加新的软件，以下步骤不需要管。

注意：如果在yum源中添加了新的包时：

1.需要删除之前的repodata文件后，重新生成；

2.重启httpd服务

3.清除yum缓存 yum clean all

11、设置CM这个软件的元数据为mysql

设置元数据库为mysql--前提是安装ClouderaManager Server服务
/opt/cloudera/cm/schema/scm_prepare_database.sh -h localhost mysql scm root 123456
旧版本：/usr/share/cmf/schema/scm_prepare_database.sh -h localhost mysql scm root 123456假如报以下错误：拷贝驱动包
[                          main] DbCommandExecutor              INFO  Unable to find JDBC driver for database type: MySQL
[                          main] DbCommandExecutor              ERROR JDBC Driver com.mysql.jdbc.Driver not found.
[                          main] DbCommandExecutor              ERROR Exiting with exit code 3
--> Error 3, giving up (use --force if you wish to ignore the error)提示ERROR JDBC Driver com.mysql.jdbc.Driver not found.
需要上传mysql驱动包jar到/opt/cloudera/cm/lib目录下。
cd /opt/cloudera/cm/lib
先拷贝5.7的驱动，试试,假如错误变为如下：
The last packet successfully received from the server was 473 milliseconds ago.  The last packet sent successfully to the server was 460 milliseconds ago.请将mysql5.1的驱动包删除，然后换为8.0的驱动。
rm -rf mysql-connector-java-5.1.40.jar
此时有一个大坑，复制驱动包的时候，拷贝一个mysql8.0的才可以。
记得继续执行那句话：
/opt/cloudera/cm/schema/scm_prepare_database.sh -h localhost mysql scm root 123456
看到如下语句就说明：你的mysql中已经有cm这个系统的数据了。
All done, your SCM database is configured correctly!查看：cat /etc/cloudera-scm-server/db.properties

12、启动cm服务

启动server服务进程（查看7180端口）
systemctl start cloudera-scm-server
查看启动日志：
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
查看启动状态：
systemctl status cloudera-scm-server
查看端口
netstat -an | grep 7180

当你的日志不再打印的时候，就启动成功了，启动时间大约2分钟。

或者当你能够查看到7180端口被占用的时候，也就说明成功了。

13、登录

访问地址：http://192.168.233.200:7180/cmf/login

账号和密码：admin admin 登录即可

至此，CM安装完毕，CDH还没有安装呢。

14、设置刷新频率

点击上面的图片的Logo,或者直接输入网址：http://192.168.233.200:7180/cmf/home，进入这个界面

四、安装CDH

1、配置本地parcel包

注意：必须要在数据库初始化后，将parcel文件放置到/opt/cloudera/parcel-repo目录中
如何放置？mv /var/www/html/cdh6/6.2.1/parcels/* /opt/cloudera/parcel-repo 
重命名密钥文件名
cd /opt/cloudera/parcel-repo/
mv CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1 CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha

2、swappiness和透明化

临时生效：
sysctl -w vm.swappiness=10
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
永久生效：
echo "vm.swappiness=10" >> /etc/sysctl.conf
echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local
echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local

3、创建一些目录，添加分组

mkdir -p /var/lib/cloudera-host-monitor
mkdir -p /var/lib/cloudera-service-monitorchown -R cloudera-scm:cloudera-scm /var/lib/cloudera-host-monitor
chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-service-monitor/

4、创建集群

给集群起个名字：

jdk不需要安装，因为我们装过了。

在哪里呢？查询一下
find / -name java
发现jdk的安装路径为：/usr/java/jdk1.8.0_181-cloudera/配置一下java home
vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera/
export PATH=$PATH:$JAVA_HOME/bin保存之后刷新环境变量：
source /etc/profile

设置密码：

安装：

选择套餐：

后面的一直默认即可，直到开始安装hdfs。

点击完成，可以看到主界面了。

测试一下hdfs是否正常使用：

http://192.168.233.200:9870/

5、安装与使用hdfs

又想安装：

想安装什么服务，就选择什么服务，安装过程稍微慢一些。

假如想使用hdfs，访问 9870页面，想创建一个文件夹，发现没有权限：

如果按照以前的习惯，修改配置文件，配置相应的代码即可，使用CDH之后，所有的配置，都变成了在页面上修改。

以前修改的hdfs-site.xml ,变为在页面中修改。

修改的配置，需要重启才能生效。

重启完之后再次使用hdfs，测试是否还有权限问题。

如果你不习惯在页面修改配置文件，可以搜索，一般都在/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774 下。

页面中可以查看hdfs集群的运行情况，也看到了集群的健康状况。

点击后面的 Suppress（抑制）。

假如你安装过程中出现了datanode启动不起来，检查网络IP是否正确。将dhcp 修改为 static

重启网卡：systemctl restart network

接着：停止hdfs服务，删除 /dfs 目录下的三个文件。

卸载hdfs服务，重新添加hdfs 服务，这个时候会重新进行namenode 格式化。

6、安装yarn

添加服务--> 选择 yarn-- > 自动安装即可

如何使用yarn,跑一个任务
在home 下  创建一个wc.txt
里面随便输入一些需要统计的词
bigdata hadoop
bigdata hello hadoop将这个任务，上传至hdfs
首先创建一个文件夹  hdfs dfs -mkdir -p /home/input
上传文件至： hdfs dfs -put /home/wc.txt /home/input使用hadoop自带的jar包，运行任务
yarn jar /opt/cloudera/parcels/CDH/jars/hadoop-mapreduce-examples-3.0.0-cdh6.2.1.jar wordcount /home/input/* /home/output

在界面中，还可以访问到：http://192.168.233.200:8088/cluster

7、安装zookeeper

通过命令进入zk查看是否可用。

find / -name zkCli.sh
/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/zookeeper/bin/zkCli.sh -server cdh:2181

8、hive

要想创建hive，hive需要mysql充当元数据的表服务。

mysql -uroot -p
create database hive;

安装hive服务，需要用到mysql

通过以上可以看出缺少jar包

cp /opt/cloudera/cm/lib/mysql-connector-java-8.0.26.jar /opt/cloudera/parcels/CDH/lib/hive/lib/

拷贝完成之后，记得点击 resume 一下。

测试hive的用法：

直接在黑窗口中hive 一下。
进入，编写一些简单的sql语句，比如 show databases;
select from_unixtime(1583781807, 'yyyy-MM-dd');注意：此时的metastore 以及hiveserver2 都已经启动了，但是使用datagrip 连接的时候缺少一个包。

9、kafka

略

10、sqoop

略

mysql -uroot -p
create database test1;
create table t_user
(id bigint auto_increment,name varchar(127) not null,age bigint null,class varchar(255) null,primary key (id)
);vim text.txtleo|12|class1
leo1|13|class2
leo2|14|class3
leo3|15|class4
leo4|16|class5
leo5|17|class6cp /opt/cloudera/cm/lib/mysql-connector-java-5.1.40.jar /opt/cloudera/parcels/CDH/lib/sqoop/lib/sqoop export \
--connect jdbc:mysql://cdh:3306/test1 \
--username root \
--password 123456 \
--table t_user \
--columns 'name,age,class' \
--export-dir /data \
--input-fields-terminated-by '|' \
--num-mappers 1

11、flume

略

12、Hue

Hue 其实是一个提供了图形化界面集成的工具，比如可以把hive、Yarn、hdfs、mysql。

Hue -- 将各种软件的使用集成在了一起。可以在这个界面上使用hive、mysql、hdfs等。重在软件的使用。

CM -- 重在各种软件的安装、配置、启动等。

mysql -uroot -p
create database hue default character set utf8 collate utf8_general_ci;提示：java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
cp /opt/cloudera/cm/lib/mysql-connector-java-5.1.40.jar /opt/cloudera/parcels/CDH/lib/oozie/lib/