【大数据】学习笔记

文章目录

    • @[toc]
      • NAT配置
      • IP配置
        • SecureCRT配置
          • Properties
            • Terminal
      • Java安装
        • 环境变量配置
      • Hadoop安装
        • 修改配置文件
          • hadoop-env.sh
          • yarn-env.sh
          • slaves
          • core-site.xml
          • hdfs-site.xml
          • mapred-site.xml
          • yarn-site.xml
        • 环境变量配置
      • IP与主机名映射关系配置
        • hostname配置
        • 映射关系配置
      • 关闭防火墙
        • 防火墙临时关闭
        • 防火墙永久关闭
      • 关闭SELinux
        • SELinux临时关闭
        • SELinux永久关闭
      • 建立互信关系
        • 将公钥文件id_rsa.pub拷贝到authorized_keys
        • 修改权限
        • 将slave_1、slave_2的公钥拷贝到master的authorized_keys
        • 远程拷贝
        • 测试互信关系
      • Hadoop启动
        • NameNode格式化
        • 报错解决

因上努力

个人主页:丷从心·

系列专栏:大数据

果上随缘


NAT配置

  • 编辑 → \rightarrow 虚拟网络编辑器 → \rightarrow 移除 V M n e t 8 → VMnet8 \rightarrow VMnet8添加 V M n e t 8 → N A T VMnet8 \rightarrow NAT VMnet8NAT模式
  • 初始化:桥接模式-> N A T NAT NAT模式

IP配置

DEVICE=eth0
BOOTPROTO=static
NM_CONTROLLED=yes
ONBOOT=yes
TYPE=Ethernet
IPADDR=192.168.123.10
NETMASK=255.255.255.0
GATEWAY=192.168.123.2
DNS1=202.106.0.20
HWADDR=00:0c:29:1e:d0:84

SecureCRT配置
Properties
Terminal
  • E m u l a t i o n Emulation Emulation
    • T e r m i n a l → L i n u x Terminal \rightarrow Linux TerminalLinux
    • S c r o l l b a c k b u f f e r → 128000 Scrollback \ buffer \rightarrow 128000 Scrollback buffer128000
  • A p p e a r a n c e Appearance Appearance
    • C u r r e n t c o l o r s c h e m e → T r a d i t i o n a l Current \ color \ scheme \rightarrow Traditional Current color schemeTraditional
    • C h a r a c t e r e n c o d i n g → U T F − 8 Character \ encoding \rightarrow UTF-8 Character encodingUTF8

Java安装

环境变量配置
vim ~/.bashrc
export JAVA_HOME=/usr/local/src/jdk_1.8.0_111
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

Hadoop安装

修改配置文件
hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=${JAVA_HOME}
yarn-env.sh
vim yarn-env.sh
export JAVA_HOME=${JAVA_HOME}
slaves
vim slaves
slave1
slave2
core-site.xml
vim core-site.xml
<configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value><description>指定默认的文件系统</description> </property><property><name>hadoop.tmp.dir</name><value>file:/usr/local/src/hadoop_2.6.1/tmp</value><description>Hadoop 临时文件存放目录</description> </property>
</configuration>
hdfs-site.xml
vim hdfs-site.xml
<configuration><property><name>dfs.namenode.secondary.http-address</name><value>master:9001</value><description>SecondaryNameNode 地址和端口</description> </property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/src/hadoop_2.6.1/dfs/name</value><description>fsimage 镜像存放目录</description> </property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/src/hadoop_2.6.1/dfs/data</value><description>HDFS 数据文件存放目录</description> </property><property><name>dfs.replication</name><value>3</value><description>Block 副本数</description> </property>
</configuration>
mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value><description>指定运行 MapReduce 的环境是 Yarn</description> </property><property><name>mapreduce.map.memory.mb</name><value>1536</value><description>调度器为每个 Map Task 申请的内存数, 各 Job 也可以单独指定, 如果实际使用的资源量超过该值,则会被强制杀死</description> </property><property><name>mapreduce.map.java.opts</name><value>-Xmx1024M</value></property><property><name>mapreduce.reduce.memory.mb</name><value>3072</value><description>调度器为每个 Reduce Task 申请的内存数, 各 Job 也可以单独指定, 如果实际使用的资源量超过该值, 则会被强制杀死</description> </property><property><name>mapreduce.reduce.java.opts</name><value>-Xmx2560M</value></property><property><name>mapreduce.job.reduce.slowstart.completedmaps</name><value>0.1</value><description>当 Map Task 完成 10% 时, 为 Reduce Task 申请资源, Reduce Task 开始进行拷贝 Map Task 结果数据和执行 Reduce Shuffle 操作, 默认值为 0.05</description></property> <!--Hadoop 历史服务器--><property><name>mapreduce.jobhistory.address</name><value>master:10020</value><description>MapReduce JobHistory 服务器进程间通信地址</description></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value><description>MapReduce JobHistory 服务器的 Web UI</description></property><property><name>mapreduce.jobhistory.done-dir</name><value>/mr-history/done</value><description>已执行完毕的作业信息存放目录</description></property><property><name>mapreduce.jobhistory.intermediate-done-dir</name><value>/mr-history/tmp</value><description>正在运行的作业信息存放目录</description></property><property><name>yarn.app.mapreduce.am.staging-dir</name><value>/mr-history/hadoop-yarn</value><description>MapReduce 作业提交时所使用的临时目录</description></property> 
</configuration>
yarn-site.xml
vim yarn-site.xml
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value><description>NodeManager 上运行的附属服务</description> </property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.address</name><value>master:8032</value><description>客户端访问 ResourceManager 的地址</description> </property><property><name>yarn.resourcemanager.scheduler.address</name><value>master:8030</value><description>ApplicationMaster 访问 ResourceManager 的地址</description> </property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:8035</value><description>NodeManager 访问 ResourceManager 的地址</description> </property><property><name>yarn.resourcemanager.admin.address</name><value>master:8033</value><description>管理员访问 ResourceManager 的地址</description> </property><property><name>yarn.resourcemanager.webapp.address</name><value>master:8088</value><description>Web UI 访问 ResourceManager 的地址</description> </property><!--关闭内存检查--><property><name>yarn.nodemanager.pmem-check-enabled</name><value>false</value><description>是否启动一个线程检查每个任务正使用的物理内存量, 如果任务超出分配值, 则直接将其杀掉, 默认值为true</description></property><property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value><description>是否启动一个线程检查每个任务正使用的虚拟内存量, 如果任务超出分配值, 则直接将其杀掉, 默认值为true</description></property> <!--日志聚合--><property><name>yarn.log-aggregation-enable</name><value>true</value><description>开启日志聚合功能, 日志保存在 HDFS 上</description></property><property><name>yarn.log-aggregation.retain-seconds</name><value>86400</value><description>聚合后的日志在 HDFS 上的保存时间, 单位为秒</description> 	</property><property><name>yarn.log.server.url</name><value>http://master:19888/jobhistory/logs</value><description>日志聚合服务器 URL</description></property> 
</configuration>
环境变量配置
vim ~/.bashrc
export HADOOP_HOME=/usr/local/src/hadoop_2.6.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

IP与主机名映射关系配置

hostname配置
  • h o s t n a m e hostname hostname临时生效
hostname master
  • h o s t n a m e hostname hostname永久生效
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
映射关系配置
vim /etc/hosts
192.168.123.10 master
192.168.123.11 slave1
192.168.123.12 slave2

关闭防火墙

防火墙临时关闭
systemctl stop firewalld.service
防火墙永久关闭
systemctl disable firewalld.service

关闭SELinux

SELinux临时关闭
setenforce 0
SELinux永久关闭
vim /etc/selinux/config
SELINUX=disabled

建立互信关系

ssh-keygen -t rsa
cd ~/.ssh
将公钥文件id_rsa.pub拷贝到authorized_keys
cat id_rsa.pub > authorized_keys
修改权限
chmod 600 authorized_keys
将slave_1、slave_2的公钥拷贝到master的authorized_keys
ssh slave1 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
远程拷贝
scp -rp /root/.ssh/authorized_keys root@slave1:/root/.ssh/authorized_keys
测试互信关系
ssh slave1

Hadoop启动

NameNode格式化
  • 第一次启动 H a d o o p Hadoop Hadoop需要对 N a m e N o d e NameNode NameNode进行格式化
hadoop namenode -format
报错解决
2734 -- main class information unavailable
rm -rf /tmp/hsperfdata_root/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/1411231.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

[每日AI·0501]GitHub 版 Devin,Transformer的强力挑战者 Mamba,Sora 制作细节与踩坑,OpenAI 记忆功能

AI 资讯 国资委&#xff1a;加快人工智能等新技术与制造全过程、全要素深度融合GitHub版 Devin 上线&#xff0c;会打字就能开发应用&#xff0c;微软 CEO&#xff1a;重新定义 IDE在12个视频理解任务中&#xff0c;Mamba 先打败了 TransformerSora 会颠覆电影制作吗&#xff…

Linux POSIX消息队列遇到的问题和使用方法

目录 一、开发环境及消息队列介绍二、问题描述三、解决办法四、测试代码 一、开发环境及消息队列介绍 开发板&#xff1a;nuc980 1.ARM Linux中消息队列的原理   在ARM Linux中&#xff0c;消息队列是通过POSIX&#xff08;Portable Operating System Interface&#xff09…

idea 新建spring maven项目、ioc和依赖注入

文章目录 一、新建Spring-Maven项目二、在Spring-context使用IOC和依赖注入 一、新建Spring-Maven项目 在pom.xml文件中添加插件管理依赖 <build><plugins><plugin><artifactId>maven-compiler-plugin</artifactId><version>3.1</ver…

来一篇错题集(虽然简单吧)

一.Assembly via Remainders #include<bits/stdc.h> using namespace std; typedef long long ll; int a[2000]; int b[2000]; int main(){int t;cin>>t;while(t--){int n;cin>>n;for(int i1;i<n-1;i){cin>>b[i];}int x1000000000;//使用1000000000…

算法打卡day40

今日任务&#xff1a; 1&#xff09;139.单词拆分 2&#xff09;多重背包理论基础&#xff08;卡码网56携带矿石资源&#xff09; 3&#xff09;背包问题总结 4&#xff09;复习day15 139单词拆分 题目链接&#xff1a;139. 单词拆分 - 力扣&#xff08;LeetCode&#xff09; …

LLaVA:分析图像和文本数据的开源模型

原文地址&#xff1a;analyzing-images-with-llava 2024 年 3 月 20 日 在过去的几个月里&#xff0c;ChatGPT 等各种大型语言模型&#xff08;LLM&#xff09;已进入商业市场&#xff0c;许多公司已成功地将 LLM 集成到其产品和服务中&#xff0c;极大地改变了我们与设备和互…

RocketMQ SpringBoot 3.0不兼容解决方案

很多小伙伴在项目升级到springBoot3.0版本以上之后&#xff0c;整合很多中间件会有很多问题&#xff0c;下面带小伙伴解决springBoot3.0版本以上对于RocketMQ 不兼容问题 报错信息 *************************** APPLICATION FAILED TO START *************************** Des…

【JVM】JMM 内存模型

JMM 概述 内存模型 java[内存模型](Java Memory Model) 和 [内存结构]JMM规定了在多线程下对共享数据的读写时&#xff0c;对数据的原子性 有序性 可见性的规则和保障。 原子性 原子性问题: i和i–不是原子性操作! 所以一个i指令会在执行过程中被另一个线程执行! 问题分…

C++ | Leetcode C++题解之第67题二进制求和

题目&#xff1a; 题解&#xff1a; class Solution { public:string addBinary(string a, string b) {string ans;reverse(a.begin(), a.end());reverse(b.begin(), b.end());int n max(a.size(), b.size()), carry 0;for (size_t i 0; i < n; i) {carry i < a.siz…

最佳实践|Apifox 中通过 CryptoJS 给请求参数进行 AES 加密!

假如现在要在 Apifox 中发送一个「登录」的请求&#xff0c;然后我需要将接口中的 password 参数使用 AES 加密算法加密以后&#xff0c;再传给后台服务&#xff0c;这要怎么做&#xff1f; 要在 Apifox 中使用 AES 加密算法对 password 参数进行加密&#xff0c;你需要在「前置…

4 Spring AOP

目录 AOP 简介 传统开发模式 先来看一个需求 解决方案 AOP 图示 Spring 启用 AspectJ 基于 xml 配置 创建 pom.xml 创建 UserService 借口和 UserServiceImpl实现类 创建 LogAdvice 日志通知 创建 log4j.properties 重点&#xff1a;创建 spring-context-xml.xml 配…

如何让 PDF 书签从杂乱无序整洁到明丽清新

1、拉取书签&#xff08;详细步骤看文末扩展阅读&#xff09; 原状态 —— 杂乱无序 自动整理后的状态 —— 错落有致&#xff0c;但摩肩接踵 2、开始整理 全选自动整理后的书签&#xff0c;剪切 访问中英混排排版优化 - 油条工具箱 https://utils.fun/cn-en 1 粘贴 → 2 …

国科大模版修订模式冲突

定位到 \documentclass[twoside]{Style/ucasthesis}%前添加\PassOptionsToPackage{changes,usenames,dvipsnames,table}{xcolor} 完整如下&#xff1a; \PassOptionsToPackage{changes,usenames,dvipsnames,table}{xcolor} \documentclass[twoside]{Style/ucasthesis}% \us…

Sarcasm detection论文解析 |A2Text-Net:一种用于讽刺检测的新型深度神经网络

论文地址 论文地址&#xff1a;A2Text-Net: A Novel Deep Neural Network for Sarcasm Detection | IEEE Conference Publication | IEEE Xplore github:lliyuan1117/A2Text-Net (github.com) 论文首页 A2Text-Net&#xff1a;一种用于讽刺检测的新型深度神经网络 &#x1f4c5…

QT:label标签/进度条的使用

文章目录 设置不同格式的文本显示图片文本对齐/自动换行/缩进/边距LCDNumber倒计时 ProgressBar进度条 设置不同格式的文本 在文本格式中&#xff0c;存在富文本&#xff0c;makedown格式的文本&#xff0c;还有纯文本&#xff0c;下面就依据这三个进行举例 #include "w…

数据库基础--MySQL多表查询之外键约束

MySQL多表关系 一对一 顾名思义即一个对应一个的关系&#xff0c;例如身份证号对于每个人来说都是唯一的&#xff0c;即个人信息表与身份证号信息表是一对一的关系。车辆信息表与车牌信息表也是属于一对一的关系。 一对多 即一个表当中的一个字段信息&#xff0c;对应另一张…

MLP手写数字识别(1)-MNIST数据集下载与可视化(tensorflow)

1.下载与查看MNIST数据集 from keras.datasets import mnist(x_train_image,y_train_label),(x_test_image,y_test_label) mnist.load_data() print("train images:",x_train_image.shape) print("test images:",x_test_image.shape) print("train …

WAAP动态安全解决方案

随着企业数字化进程不断加速&#xff0c;应用安全面临多重威胁&#xff0c;新型攻击方式层出不穷&#xff0c;常见的攻击形式包括Web应用攻击、DDoS攻击、API攻击、恶意爬虫攻击等。企业正面临严峻的安全防护挑战&#xff0c;需寻找一个可靠、全面的安全解决方案。在此情况下&a…

基于Springboot的校园食堂订餐系统(有报告)。Javaee项目,springboot项目。

演示视频&#xff1a; 基于Springboot的校园食堂订餐系统&#xff08;有报告&#xff09;。Javaee项目&#xff0c;springboot项目。 项目介绍&#xff1a; 采用M&#xff08;model&#xff09;V&#xff08;view&#xff09;C&#xff08;controller&#xff09;三层体系结构…

P9422 [蓝桥杯 2023 国 B] 合并数列

P9422 [蓝桥杯 2023 国 B] 合并数列 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) 用队列即可 当两个队列队首&#xff1a;a b &#xff0c;弹出 当a < b&#xff0c;把a加给其后一个元素&#xff0c;弹出a 当b < a&#xff0c;把b加给其后一个元素&#xff0c;弹出…