Cloudera安装指南:新手也能轻松搞定!

回顾:之前《深度挖掘|Cloudera安装不再难!基础环境搭建全解析》中,我们深入探讨了如何在企业环境中精心准备系统环境,为大数据平台Cloudera 搭建奠定坚实基础。今天,我们将正式进行Cloudera Manager的下载安装与部署。   

Cloudera Manager下载   

步骤一:环境检查与准备          

确保系统环境已按照《深度挖掘|Cloudera安装不再难!基础环境搭建全解析》文章的指导完成准备,包括操作系统版本、网络配置、防火墙设置等。同时,检查Java环境是否满足Cloudera Manager的要求。

          

步骤二:下载Cloudera Manager安装包   

访问Cloudera官网,根据您的需求选择合适的Cloudera Manager版本进行下载。注意检查下载链接的安全性,避免从非官方渠道下载。    

Cloudera manager 安装   

1. 创建安装目录

在三台节点 cm1,cm2,cm3 中执行命令“mkdir /opt/cloudera-manager”创 建安装目录。

并且将“cloudera-manager-el6-cm5.4.3_x86_64.tar.gz”上传至 cm1 节点的目录“/software”下,并且解压到目录“/opt/cloudera-manager” 下,在 cm1 节点执行命令如下:

1.[root@cm1 software]# tar -zxvf ./cloudera-manager-el6-cm5.4.3_x86_64.tar.gz -C /opt/cloudera-manager/

2. 配置 CM Agent 的 server host

在cm1节点上修改路径 /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent 下的 config.ini 文件,将 server_host=localhost 改成 server_host=cm1。

3. 创建用户cloudera-scm   

在三台节点 cm1,cm2,cm3 上创建用户“cloudera-scm”,在每台节点上执行如下命令: 

1.useradd--system--no-create-home--shell=/bin/false--comment"ClouderaSCM User" cloudera-scm

其中: --system 创建一个系统用户。--no-create-home 强制不创建家目录。--shell 指定用户的 shell。--comment 用户说明。

4. 创建Parcel目录         

在 Server 节点创建目录并修改权限:

在 cm1 节点执行如下命令:          

1.[root@cm1 cloudera-scm-agent]# mkdir -p /opt/cloudera/parcel-repo 
2.[root@cm1 cloudera-scm-agent]# chown cloudera-scm:cloudera-scm             /opt/cloudera/parcel-repo

在 Agent 节点创建目录并修改权限:

在 cm1,cm2,cm3 节点上执行如下命令:      

1.mkdir -p /opt/cloudera/parcels
2.chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

5. 配置CM Server数据库    

将 “ mysql-connector-java-5.1.26-bin.jar ” 上传至 cm1 节 点的 /usr/share/java/目录下,如果没有目录需要先创建目录,并且修改 jar 包名称为“mysql-connector-java.jar”

登录mysql数据库,给用户temp【这里使用temp用户,也可以是其他用户名称】赋权限,在 cm1 

执行如下命令:

1.[root@cm1 ~]# mysql -u root -p123456
2.mysql>grantallon*.*to'temp'@'%'identifiedby'temp'withgrantoption;

 在 cm1 节点中指定数据库,执行如下命令:      

1.[root@cm1 ~]# cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
2.[root@cm1schema]#./scm_prepare_database.shmysqltemp-hcm1-utemp-ptemp --scm-host cm1 scm scm scm

以上执行命令参数的解释如下:

数据库类型、数据库、数据库服务器、用户名、密码、cm server 服务器

6. 制作CDH本地源

将下载好的文件 “ CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel ” 和 “ manifest.json ” 两个文件,以及制作的 “CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha”文件上传至 cm1 节点的/opt/cloudera/parcel-repo/目录下。    

以上这个步骤就是模拟安装 CDH 时,已经在 Cloudera Manager 的仓库中下载了 CDH 的镜像文件。

然后将 cm1 节点/opt/cloudera-manager 路径下的所有目录文件发送到 cm2、cm3节点。在 cm1 上执行如下命令:         

1.[root@cm1 ~]# cd /opt/cloudera-manager/
2.[root@cm1 cloudera-manager]# scp -r ./* cm2:`pwd` 3. [root@cm1 cloudera-manager]# scp -r ./* cm3:`pwd`

7. 启动CM Server、Agent         

在 cm1 节点上启动 CM Server:

进入 cm1 路径:/opt/cloudera-manager/cm-5.4.3/etc/init.d,执行 如下命令:

1.[root@cm1~]#cd/opt/cloudera-manager/cm-5.4.3/etc/init.d/ 
2.[root@cm1init.d]#./cloudera-scm-serverstart

注意: Sever首次启动会自动创建表以及数据,不要立即关闭或重启,否则需要删除所有表及数据重新安装。至少等待 2-3 分钟,视机器性能而定。可以在路径 /opt/cloudera-manager/cm-5.4.3/log/cloudera-scm-server 下观察日志是否启动成功。    

在 cm1、cm2、cm3 节点上启动 Agent:

进入 cm1,cm2,cm3 节点路径:

/opt/cloudera-manager/cm-5.4.3/etc/init.d,执行如下命令:

1.cd/opt/cloudera-manager/cm-5.4.3/etc/init.d/
2../cloudera-scm-agentstart

至此,Cloudera Manager 的安装完成。

以上就是今天分享的全部内容。

如果你想了解更多关于:Cloudera系统环境准备、基础环境安装、集群部署以及应用组件安装等全方位的技术的问题,可以私信留言。

感谢你的阅读,如果喜欢我的文字,可以持续关注我,会陆续为你更新更多干货小知识。    

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/1545431.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

网络PPP协议802.11协议以太网协议IPV4协议在思科模拟器的实现

1)PPP协议 1. 选择2620系列交换机,添加WIC-2t模块,具有两个serial串行接口; 2.Router>enable:进入特权模式 Router#configure terminal:全局配置模式 Enter configuration commands, one per line. End with CNTL…

低成本搭建企业专属云电脑 贝锐向日葵推出私有化云电脑服务

作为一种硬件虚拟化技术,云电脑的优势是十分显著的,比如可以随时随地访问,拥有较高的性能、无需我们购买昂贵的实体硬件、计算资源可以按需灵活拓展等等。 如今,越来越多的企业也开始认识到云电脑所带来的优势,将云电…

视频压缩怎么操作?3款工具轻松告别内存不足的困扰

是不是越来越多的朋友都在用视频记录日常的点滴啊? 是不是想着把视频发到分享平台上,却发现视频的时长超过了平台的限制,没办法直接上传? 想找好用的视频压缩软件手机版,却发现都是需要付费的? 别急&…

基于springboot在线点餐系统

基于springbootvue实现的点餐系统 (源码L文ppt)4-077 第4章 系统设计 4.1 总体功能设计 一般个人用户和管理者都需要登录才能进入点餐系统,使用者登录时会在后台判断使用的权限类型,包括一般使用者和管理者,一般使用…

vue3的生命周期有哪些

vue3的生命周期:1、beforecreate;2、created;3、beforemount;4、mounted;5、beforeupdate;6、updated;7、beforedestroy;8、destroyed;9、activated;10、deac…

STM32基础学习笔记-DHT11单总线协议面试基础题7

第七章、DHT11: 单总线协!议 常见问题 1、DHT11是什么 ?有什么特性 ? 2、单总线协议是什么 ?原理 ?DHT11的单总线协议的组成 ? ## 1、DHT11定义 单总线协议是一种用于在多个设备之间进行通信的协议,所有…

Calcite第一课

Calcite 是什么? 2024 年 9 月,最新版本 1.37.0 。前面三节我们先不看任何的源码,只从背景、介绍、概念、原理层面入手,作为深入学习和源码分析的预备。 如果用一句话形容 Calcite,Calcite 是一个用于优化异构数据源的…

2024年CSP-J认证 CCF信息学奥赛C++ 中小学初级组 第一轮真题-阅读程序题解析

2024 CCF认证第一轮&#xff08;CSP-J&#xff09;真题 二、阅读程序题 (程序输入不超过数组或字符串定义的范围&#xff0c;判断题正确填√错误填X;除特殊说明外&#xff0c;判断题 1.5分&#xff0c;选择题3分&#xff0c;共计40 分) 第一题 01 #include <iostream>…

【C++进阶】2024年了set、map还搞不懂底层细节?

&#x1f680;个人主页&#xff1a;小羊 &#x1f680;所属专栏&#xff1a;C 很荣幸您能阅读我的文章&#xff0c;诚请评论指点&#xff0c;欢迎欢迎 ~ 目录 一、前情提要1、什么是关联式容器&#xff1f;2、键值对又是什么&#xff1f; 二、树形结构的关联式容器1、set1.1…

在不受支持的 Mac 上安装 macOS Sequoia (OpenCore Legacy Patcher v2.0.1)

在不受支持的 Mac 上安装 macOS Sequoia (OpenCore Legacy Patcher v2.0.1) Install macOS on unsupported Macs 请访问原文链接&#xff1a;https://sysin.org/blog/install-macos-on-unsupported-mac/&#xff0c;查看最新版。原创作品&#xff0c;转载请保留出处。 作者主…

【CoppeliaSim V4.7】The Python interpreter could not handle the wrapper script

[sandboxScript:error] The Python interpreter could not handle the wrapper script (or communication between the launched subprocess and CoppeliaSim could not be established via sockets). Make sure that the Python modules ‘cbor2’ and ‘zmq’ are properly i…

【C++】stack和queue的使用及模拟实现

stack就是栈的意思&#xff0c;这个结构遵循后进先出(LIFO)的原则&#xff0c;可以将栈想象为一个子弹夹&#xff0c;先进去的子弹后出来。 queue就是队列的意思&#xff0c;这个结构遵循先进先出(FIFO)的原则&#xff0c;可以将对列想象成我们排队买饭的场景&#xff0c;先排…

Shopee 大促想爆单如何准备?EasyBoss ERP为你准备了一份攻略!

Shopee下半年第二个大促节点——10.10品牌大促即将来到&#xff0c;根据Shopee的官方的数据&#xff0c;9.9大促当天&#xff0c;Shopee Mall单量增至平日4倍。 老板们&#xff0c;准备好自己的热卖爆款冲击10.10大促了吗&#xff1f; 图源&#xff1a;Shopee 为助力大家迎战大…

大模型速通LLM神书来了《从头开始构建大型语言模型》,尚未发布,GitHub标星22k!!

这本大模型书籍资料已经上传CSDN&#xff0c;朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】 本书介绍 《从零构建大模型》是一本即将于今年10月底发布的书籍&#xff0c;github已经吸引了惊人的21.7k标星&#xff01;作者是威斯康星大学麦迪逊分…

N个utils(类加载-初始化-序列化)

fasterxml.jackson.databind.ObjectMapper(springboot本身就集成了) public class ObjectMapper {// 公共的ObjectMapper对象public static com.fasterxml.jackson.databind.ObjectMapper mapper new com.fasterxml.jackson.databind.ObjectMapper();/*** Description: 将数据…

推荐一款开源的链路监控系统

12.9k star&#xff0c;最强链路监控系统推荐&#xff0c;推荐 用过cat、pinpoint、skywalking等链路监控系统&#xff0c;各有优劣&#xff0c;但用的最多的还是pinpoint&#xff0c;工作6年&#xff0c;其中有4年都在用pinpoint&#xff0c;所以也比较熟悉&#xff0c;之前也…

鸿蒙界面开发——组件(10):单选框Radio复选框checkbox 下拉框select 多条件筛选Filter

单选框Radio 单选框一直会有这个圆圈&#xff0c;在选中和未选中之间切换状态。 Radio通过调用接口来创建&#xff0c;接口调用形式如下&#xff1a; Radio(options: RadioOptions) Radio(options: {value: string, group: string ,indicatorType:RadioIndicatorType,(新增) …

NET 7 AOT 的使用以及+NET 与 Go 互相调用

目录 背景 C# 部分 环境要求 创建一个控制台项目 体验 AOT 编译 C# 调用库函数 减少体积 C# 导出函数 C# 调用 C# 生成的 AOT Golang 部分 安装 GCC Golang 导出函数 .NET C# 和 Golang 互调 C# 调用 Golang Golang 调用 C# 其他 背景 其实&#xff0c;规划这篇文章有一段时间了…

AI产品经理必知的133个专业术语

一、机器学习与数据科学 1、监督学习&#xff08;Supervised Learning&#xff09; 监督学习是机器学习的一种形式&#xff0c;其中模型通过带标签的数据集进行训练。训练数据包括输入特征&#xff08;X&#xff09;和对应的输出标签&#xff08;Y&#xff09;&#xff0c;模…

哪个牌子的麦克风好?选购无线麦克风必看的五大隐藏风险

随着短视频行业的兴起。短视频已经成为我们日常生活的一个重要表达载体&#xff0c;同时无线麦克风也是正式进入到了我们的视野之中&#xff0c;这种麦克风凭借没有线材束缚、兼容性更好、拾音更好的特性&#xff0c;成为了不少短视频创作者必不可少的“搭档之一”&#xff0c;…