一 . 案例信息
Hadoop 的安装部署的模式一共有三种:
本地模式,默认的模式,无需运行任何守护进程( daemon ),所有程序都在单个 JVM 上执行。由
于在本机模式下测试和调试 MapReduce 程序较为方便,因此,这种模式适宜用在开发阶段。使用
本地文件系统,而不是分布式文件系统。
伪分布模式,在一台主机模拟多主机。即, Hadoop 的守护程序在本地计算机上运行,模拟集群环
境,并且是相互独立的 Java 进程。在这种模式下, Hadoop 使用的是分布式文件系统,各个作业也
是由 JobTraker 服务,来管理的独立进程。在单机模式之上增加了代码调试功能,允许检查内存使
用情况, HDFS 输入输出,以及其他的守护进程交互。类似于完全分布式模式,因此,这种模式常
用来开发测试 Hadoop 程序的执行是否正确。
全分布模式,完全分布模式的守护进程运行在由多台主机搭建的集群上,是真正的生产环境。在所
有的主机上安装 JDK 和 Hadoop ,组成相互连通的网络。
本案例采用伪分布模式搭建 Hadopp ,在一台主机模拟多主机,用于后续的程序开发。
2. 实验目的
掌握 Hadoop 单机版的搭建及配置方法
掌握 HDFS 文件系统的开启及关闭方法
掌握 Yarn 的开启及关闭方法
掌握 Hadoop 平台的基本使用
3. 实验环境
hadoop == 3.1.0
CentOS == 7.3
jdk == 1.8
二 . 实验指导
关联技术:
- 环境准备
- 文件解包解压
- JDK安装配置
- VIM文本编辑命令
- 文件上传
- 系统环境配置
- 配置Hadoop
- XML配置
- 防火墙配置
- 关注B站刘老师教编程jps命令
- 使用内置程序计算PI值
- jar包执行
2. 实验步骤
- 环境准备
- 配置Hadoop
- 初始化并启动Hadoop
- Hadoop(YARN)环境搭建
- 使用内置程序计算PI值
三 . 实验操作
01. 步骤一:环境准备
步骤操作说明
1. 配置 JDK
下载 JDK ,登录官方 https://www.oracle.com/java/technologies/downloads/#java8 下载所需版
本的 JDK ,版本为 JDK 1.8
![](https://i-blog.csdnimg.cn/direct/b4ed84987d424a46aa8952a41875b7b1.png)
![](https://i-blog.csdnimg.cn/direct/e8524a2a12374eb49a9868bf359759ec.png)
![](https://i-blog.csdnimg.cn/direct/5d79c4e40e6f415b8aed8d1337e987bd.png)
![](https://i-blog.csdnimg.cn/direct/4eaddfd32b9444b8864b4baff2925323.png)
![](https://i-blog.csdnimg.cn/direct/66aeda45a2e6478f9e67c5cdc2710633.png)
![](https://i-blog.csdnimg.cn/direct/48798732da6747439f6d8eac65bd8b1e.png)
![](https://i-blog.csdnimg.cn/direct/f4a4cb20c5a44093a0bf82a29ed6c890.png)
![](https://i-blog.csdnimg.cn/direct/853fc162f1e24fd2b1c7079e4f16c113.png)
![](https://i-blog.csdnimg.cn/direct/cb499e0c486d4cfaaa66707d721a3673.png)
![](https://i-blog.csdnimg.cn/direct/e7caba4c059d42bba969e11ccd262769.png)
![](https://i-blog.csdnimg.cn/direct/6fca25de95584e56be161aa237ffb4db.png)
![](https://i-blog.csdnimg.cn/direct/9a6e31d19922471bb5fd2ad494185140.png)
![](https://i-blog.csdnimg.cn/direct/aeaff10926314e6c821316df1f97e0df.png)
以上就是单机版Hadoop部署的全过程了,有问题的小伙伴私信我,我帮您解答