当前位置: 首页 > news >正文

关于hadoop和yarn的问题

1.hadoop的三大结构及各自的作用?

  • HDFS(Hadoop Distributed File System):分布式文件系统,负责海量数据的存储,具有高容错性和高吞吐量。

  • MapReduce:分布式计算框架,用于并行处理大规模数据集,分为 Map(映射)和 Reduce(归约)两个阶段。

  • YARN(Yet Another Resource Negotiator):资源管理和作业调度框架,负责集群资源的统一分配和任务调度,提升集群利用率。

2.yarn的定义?

YARN(Yet Another Resource Negotiator)是 Hadoop 2.0 引入的资源管理平台,其核心功能是将资源管理与作业调度/监控分离,支持多计算框架(如 MapReduce、Spark 等)运行在同一个集群中,提高资源利用率和系统扩展性。

3.yarn的三大组件及各自的作用?

  • ResourceManager(RM):集群资源的总管理者,负责全局资源分配与调度。

  • NodeManager(NM):运行在集群每个节点上的代理,负责单节点资源管理(如 CPU、内存)和任务执行监控。

  • ApplicationMaster(AM):由应用程序(如 MapReduce 作业)启动,负责向 RM 申请资源、协调任务执行,并监控任务状态。

4.yarn的三个资源调度策略?

  1. FIFO Scheduler:先进先出策略,按作业提交顺序分配资源,简单但可能导致大作业独占资源。

  2. Capacity Scheduler:容量调度器,将集群划分为多个队列,每个队列分配固定资源,支持多租户资源共享。

  3. Fair Scheduler:公平调度器,动态平衡资源分配,确保所有作业公平共享资源,适合多用户环境。

http://www.xdnf.cn/news/6877.html

相关文章:

  • 基于Flask的AI工具聚合平台技术解析
  • TypeScript 从入门到精通:完整教程与实战应用(二)
  • stl 容器 – map
  • 校平机:精密制造的“材料雕刻家“
  • MQTTClient.c中的协议解析与报文处理机制
  • SpringBoot运维问题
  • FreeRTOS任务通知
  • 51单片机实验五:A/D和D/A转换
  • 前端:uniapp框架中<scroll-view>r如何控制元素进行局部滚动
  • ASP.NET MVC 实现增删改查(CRUD)操作的完整示例
  • 从代码学习深度学习 - 小批量随机梯度下降 PyTorch 版
  • Spring Boot启动流程深度解析:从main()到应用就绪的完整旅程
  • Starrocks 数据均衡DiskAndTabletLoadReBalancer的实现
  • 使用Lean 4和C#进行数学定理证明与逻辑推理
  • RAG 实战|用 StarRocks + DeepSeek 构建智能问答与企业知识库
  • edge browser for linux debian
  • 23种设计模式-创建型模式之建造者模式(Java版本)
  • AWS上构建基于自然语言的数值和符号计算系统
  • 设计模式每日硬核训练 Day 15:享元模式(Flyweight Pattern)完整讲解与实战应用
  • MCP协议在纳米材料领域的深度应用:从跨尺度协同到智能研发范式重构
  • spring响应式编程系列:总体流程
  • Ubuntu18.04安装Qt5.12
  • 在PyCharm中部署AI模型的完整指南
  • 鸿蒙-跨设备互通,设备互通提供跨设备的相机、扫描、图库访问能力,平板或2in1设备可以调用手机的相机、扫描、图库等功能。
  • 【VSCode】在 VSCode 中运行 HTML 页面并通过 HTTPS 访问
  • 在pycharm中搭建yolo11分类检测系统--PyQt5学习(二)
  • 发现“横”字手写有难度,对比两个“横”字
  • CSS3笔记
  • 小知识合集 慢慢更新
  • vue,uniapp解决h5跨域问题