Cloudera安装不再复杂:基础环境设置详解

Cloudera Manager是CDH市场领先的管理平台。它以其强大的数据管理和分析能力,帮助企业能够轻松驾驭海量数据,实现数据的实时分析与洞察。

file

作为业界第一的端到端 Apache Hadoop 的管理应用,Cloudera Manager对CDH的每个部件都提供了细粒度的可视化和控制,从而设立了企业部署的标准。通过Cloudera Manger,运维人员得以提高集群的性能,提升服务质量,提高合规性并降低管理成本。

file

今天,我们将带你深入探索Cloudera的安装规划与系统环境搭建部署,为你的企业数据之旅铺设坚实的基石。 但在此之前,我们需要精心规划、细致部署。接下来,我们将一步步引导你完成 Cloudera 的安装规划与系统环境搭建,为企业数据中心的管理变得简单直观。

系统环境准备、安装基础环境

1.选择三台已安装 Centos6 Liunx 系统的节点,分配资源

安装 CDH 节点推荐内存为64G,大部分内存被 Cloudera Management Service 占用,因为做了大量的数据分析和整合。这里,划分三台节点如下:

file

针对目前学习来说:

  • 如果实际的物理机器内存为 32G,推荐 cm Server 内存为 16G,cm Agent 内存分别为 4G。
  • 如果实际的物理机器内存为 16G,推荐 cm Server 内存为 10G,cm Agent 内存分别为 2G。
  • 如果实际的物理机器内存为 12G,推荐 cm Server 内存为 8G,cm Agent 内存分别为 2G。
  • 如果实际的物理机器内存为 8G,推荐 cm Server 内存为 6G,cm Agent 内存分别为 2G。

注意:后两种情况,实际机器内存不足,需要在 VM 虚拟机中设置允许交换内存。设置方式如下: 在 VMware 中点击“编辑”->“首选项”,找到内存,预留内存是给当前真实物理 机预留的内存量。在额外内存中,如果实际物理机内存不足 10G 就设置“允许交换大部分虚拟机内存”,设置这个的意思是当虚拟机内存不足时,可以允许内存与磁盘交换数据,从而获取更多的内存执行当前运行的程序。

file

截止到这里,以上只是准备好的三台划分好内存和核心的空节点。 注意: 实际物理机器安装Vmware 的磁盘至少还要预留 50G 磁盘空间。

2.配置IP

在每台节点上配置ip,打开 /etc/sysconfig/network-scripts/ifcfg-eth0编辑内容如下:

file

重启网络服务使 ip 生效:

file

三台节点配置的ip分别为:

  • 193.192.168.179.201
  • 192.168.179.202
  • 192.168.179.203

注意:每台节点克隆后需要删除每台节点/etc/udev/rules.d/70-persistent-net.rules文件,清除mac地址。重启每台节点即可。

3.配置每台节点的hostname

修改每台节点/etc/sysconfig/network中的HOSTNAME,分别为:cm1,cm2,cm3。设置好每台节点的hostname之后重启每台节点即可生效。

4.配置节点ip、hostname映射

在每台节点/etc/hosts文件后追加如下内容,配置ip与hostname之间的映射。

file

5.关闭防火墙

在每台节点上执行如下命令,关闭防火墙,并设置开机不启动:

file

6.关闭SELinux

SELinux 就是 Security-Enhanced Linux 的简称,安全加强的 linux。传统的linux权限是对文件和目录的 owner, group 和 other 的 rwx 进行控制,而 SELinux 采用的是委任式访问控制,也就是控制一个进程对具体文件系统上面的 文件和目录的访问,SELinux 规定了很多的规则,来决定哪个进程可以访问哪些 文件和目录。虽然 SELinux 很好用,但是在多数情况我们还是将其关闭,因为在 不了解其机制的情况下使用 SELinux 会导致软件安装或者应用部署失败。 在每台节点 /etc/selinux/config 中将 SELINUX=enforcing 改成 SELINUX=disabled 即可。

7.配置yum源

这里我们选择使用本地 yum源。需要在 VM中设置下连接光驱,步骤如下图:

file

在 cm1,cm2,cm3 节点上配置本地 yum源: 每台节点创建/mnt/cdrom 目录:

file

每台节点执行如下命令,将光盘设备/dev/sr0 挂载到/mnt/cdrom 目录:

file

每台节点执行命令:df -h 查看是否挂载成功:

file

上面的 mount 命令挂载后在机器重启后会失效,为了可以实现开机自动挂载,可以在每台节点的/etc/fstab 文件的最后面加入下面语句:

file

下面可以创建本地 yum 源,在每台节点的/etc/yum.repos.d 目录下创建 local.repo 文件,内容如下:

file

以上内容中 baseurl是指 Yum源的地址,该路径下有个 repodata目录,就是yum安装源目录。file://表示 yum源为文件。 如果只想让 local.repo 生效,可以在每台节点的/etc/yum.repos.d 目录下 创建一个backup目录,将其他的以“.repo”结尾的文件都移动到backup目录中。

file

在每台节点上执行以下命令,更新 yum 源:

file

8.配置ssh免密钥登陆

在 CDH 中需要任意两个节点之间都可以免秘钥登录。节点两两免秘钥的根本原理如 下:假设 A 节点需要免秘钥登录 B 节点,只要 B 节点上有 A 节点的公钥,那么 A节点就可以免密登录当前 B 节点。 第一、需要在每台节点上安装 ssh 客户端,否则,不能使用 ssh 命令(最小化安装 Liunx,默认没有安装 ssh 客户端):

file

第二、在每台节点执行如下命令,在每台节点的“~”目录下,创建.ssh 目录,注意:不要手动创建这个目录,因为有权限问题。

file

第三、在每台节点上执行如下命令,给当前节点创建公钥和私钥:

file

第四、将cm1,cm2,cm3的公钥copy到cm1 上,这样,cm1,cm2,cm3 节点都能登录cm1节点。命令如下:

file

最后、将cm1 节点上~/.ssh/authorized_keys 拷贝到cm2和cm3节点的 ~/.ssh/目录下,执行如下命令: 经过以上步骤,节点两两免密完成。

9.节点同步时间

在 cm1,cm2,cm3 每台节点上执行如下命令,安装 ntp 服务及配置定时任务

10.安装JDK

给每台节点安装jdk,这里我们安装的CDH版本为5.4,在官网https://www.cloudera.com/documentation/enterprise/release-n otes/topics/rn_consolidated_pcm.html 下有介绍 版本对应的jdk 版本,可以使用 jdk7,也可使用 jdk8,但是对应的 jdk 小版本有要求,具体如下:

file

file

这里我们选择 jdk8版本中的 1.8u181版本安装。在每台节点安装 jdk,在每台节点中创建/software目录,将 jdk8安装包通过ftp工具上传到/software 目录下,每台节点执行如下命令安装 jdk:

以上命令执行完成之后,会在每台节点的/usr/java 下安装 jdk。在每台节点配置 jdk的环境变量:

  1. vim /etc/profile
  2. #在每台节点中配置profile文件,在最后追加内容如下:#
  3. export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64
  4. export PATH=$JAVA_HOME/bin:$PATH
  5. export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

执行完成以上命令之后,在每台节点上执行 “source /etc/profile”使配置 生效。

11.安装mysql数据库

在 cm1 中安装 mysql 数据库,执行命令:yum install –y mysql-server执行完成之后,启动 mysql:service mysql start。

**登录 mysql 执行如下语句:

  1. [root@cm1 java]# mysql
  2. mysql> use mysql;
  3. mysql> select user,password from user;
  4. mysql> delete from user;
  5. mysql>GRANTALLPRIVILEGESON.TO'root'@'%'IDENTIFIEDBY'123456'WITH
    GRANT OPTION;
  6. mysql> flush privileges;

执行完成以上命令之后,在每台节点上执行 “source /etc/profile”使配置 生效。

  1. [root@cm1 ~]# chkconfig --add mysqld
  2. [root@cm1 ~]# chkconfig --level 345 mysqld on
  3. [root@cm1 ~]# chkconfig --list

12.安装第三方依赖包

在每台几点上安装第三方依赖包,每台节点执行如下命令:‍

  1. yum install -y chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb 复制

至此,安装Cloudera Manager的基础环境准备完成。 以上就是今天分享的全部内容。 如果你想了解更多关于:Cloudera系统环境准备、基础环境安装、集群部署以及应用组件安装等全方位的技术的问题,可以联系我:

file

感谢你的阅读,如果喜欢我的文字,可以持续关注我,会陆续为你更新更多干货小知识。

本文由博客一文多发平台 OpenWrite 发布!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/1540822.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

我与Linux的爱恋:进程优先级|进程切换

​ ​ 🔥个人主页:guoguoqiang. 🔥专栏:Linux的学习 文章目录 1.进程优先级1.什么是进程优先级?2.进程优先级的类型3.进程优先级的作用4.进程优先级的实现5.进程优先级的重要性6.查看系统进程7.修改进程优先级8.优先…

mysql笔记—sql性能分析

1.查看数据库各个语句的执行频次 show global/session status like ‘com__’ 2.慢查询 默认没有开启,需要手动开启(在/etc/my.cnf中开启) 开启后在localhost-slow.log中可以查询到慢查询的语句的相关信息: 3.explain 用法&…

Java 在 GIS 领域的学习路线?

Java是一门广泛应用于企业级开发的编程语言,而GIS则是一种常用于地理信息处理和分析的技术。将Java与GIS结合起来,可以在企业级应用中实现更多的功能和业务需求,且在实际领域越来越广泛。 Java在GIS中重要的作用 1、跨平台性 Java具有跨平台…

康佳集团的多元化战略:创新还是负担?

2023年,康佳集团豪赌“一轴两轮三驱动”战略,企图以消费电子和半导体为马,来驱动业绩的快车,但2024年的半年报如同一盆冷水,让所有期望化为泡影。 财报显示,康佳上半年营业总收入只有54.13亿元&#xff0c…

ActivityManagerService Activity的启动流程(2)

ActivityManagerService Activity的启动流程 简述 提到ActivityManagerService,最重要的流程之一就是启动Activity了。 这个流程比较复杂: 启动activity的调用链很长。业务逻辑很多,activity启动有很多flag,例如FLAG_ACTIVITY_…

激活Clion2024.2报错We could not validate your license解决

网上激活方法后报错We could not validate your license HLLIQN9GJ8. 只需要设置代理: 主机名:localhost 端口号:80 不为以下设置代理:*.github.com,plugins.jetbrains.com 然后重新激活就不会提示了。

mac安装JetBtains全家桶新版本时报错:Cannot start the IDE

mac安装JetBtains全家桶新版本时报错:Cannot start the IDE 前言报错信息解决方法 前言 作者使用的是Mac电脑,最近想要更新JetBrains相关工具的软件版本,但是在安装时突然报错,导致安装失败,现在将报错信息以及解决方…

FB FC里调用全局变量注意事项

PLC编程基础之数据类型、变量声明、全局变量和I/O映射 PLC编程基础之数据类型、变量声明、全局变量和I/O映射(CODESYS篇 )_codesys全局变量如何映射写入-CSDN博客文章浏览阅读6.3k次,点赞2次,收藏4次。本文介绍了CODESYS编程的基础知识,包括数据类型、变量声明、全局变量、…

口罩检测、未戴口罩识别、未戴口罩检测算法

不戴口罩检测算法主要用于疫情防控、公共安全和企业管理等领域,通过图像识别技术来检测人群中的个体是否佩戴了口罩。这种技术可以帮助管理者实时监控人群的口罩佩戴情况,确保公共卫生安全和防疫措施的落实。以下是关于不戴口罩检测算法的应用场景等详细…

JVM 调优篇8 调优案例5- 逃逸分析

一 逃逸分析 1.1 概念 逃逸分析的基本行为就是分析对象动态作用域:当一个对象在方法中被定义后,对象只在方法内部使用,则认为没有发生逃逸。当一个对象在方法中被定义后,它被外部方法所引用,则认为发生逃逸。例如作为…

聊聊Thread Local Storage

聊聊ThreadLocal 为什么需要Thread Local StorageThread Local Storage的实现PThread库实现操作系统实现GCC __thread关键字实现C11 thread_local实现JAVA ThreadLocal实现 Thread Local Storage 线程局部存储,简称TLS。 为什么需要Thread Local Storage 变量分为全…

ubuntu中Python解释器位置

在Ubuntu系统中,Python解释器通常位于/usr/bin/python或者/usr/bin/python3。 ls /usr/bin/python* 你查python版本可能不是3.10 但是你程序使用如下解释器配置即可运行访问 #!/usr/bin/python3.10 #-*- coding:UTF-8 -*-

前端vue-ref与document.querySelector的对比

ref只在本组件中查找,而document.querySelector是在整个页面查找

一文说清楚ETL与Kafka如何实现集成

ETL与Kafka为何需要集成? 随着企业对实时流数据的处理要求越来越高,很多企业都把实时流数(日志、实时CDC采集数据、设备数据…)先推入到kafka中,再通过ETL对kafka中的数据进行消费通过ETL强大的数据的转换、清洗功能来进行数据的集成与分发。 实时数据…

Qt日志输出及QsLog日志库

目录 Qt日志输出及QsLog日志库日志输出格式化日志普通格式化条件格式化环境变量设置格式化日志输出位置日志输出对象信息禁用输出 QsLog日志库使用方法1. 将QsLog目录添加到项目中2. 配置CMakeLists.txt文件3. 配置.pro文件4. 日志记录器的配置5. 运行程序6. 启用行号和文件名C…

新通话,新突破!菊风荣获第七届“绽放杯”5G消息与新通话专题赛二等奖!

2024年9月9日,由中国信息通信研究院、中国通信企业协会主办的第七届“绽放杯”5G应用征集大赛5G消息及新通话专题赛决赛及颁奖仪式在西安富力希尔顿酒店成功举办。 PART 1 菊风荣获「绽放杯」二等奖 实力见证 荣耀加冕 经过初赛、复赛、决赛的层层选拔&#xff0c…

Prometheus - nVisual插件让运维更轻松

Prometheus 是一个开源的服务监控系统和时间序列数据库,常用于对基础设施的监控,监控范围涵盖了硬件层、操作系统层、中间件层、应用层等运维所需的所有监控指标类型,同时可利用第三方可视化工具Grafana实现时序数据的展示。然而,…

深度学习笔记17_TensorFlow实现咖啡豆识别

🍨 本文为🔗365天深度学习训练营 中的学习记录博客🍖 原作者:K同学啊 | 接辅导、项目定制 一、我的环境 1.语言环境:Python 3.9 2.编译器:Pycharm 3.深度学习环境:TensorFlow 2.10.0 二、GPU设置…

96 kHz、24bit 立体声音频ADC芯片GC5358描述

概述: GC5358 是一款高性能、宽采样率、立体声音频模数转换器。其采样率范围是8KHz~96KHz,非常适合从消费级到专业级的音频应用系统。单端模拟输入不需要外围器件。GC5358 音频有两种数据格式:MSB对齐和 I2S 格式,和各种如 DTV、D…

移动技术开发:简单文本编辑器

1 实验名称 简单文本编辑器 2 实验目的 掌握基本布局管理器的使用方法和基本控件的使用方法&#xff0c;以及事件监听处理的使用方法 3 实验源代码 布局文件代码&#xff1a; <?xml version"1.0" encoding"utf-8"?> <LinearLayout xmlns:an…