大数据-150 Apache Druid 安装部署 单机启动 系统架构

点一下关注吧！！！非常感谢！！持续更新！！！

目前已经更新到了：

  • Hadoop（已更完）
  • HDFS（已更完）
  • MapReduce（已更完）
  • Hive（已更完）
  • Flume（已更完）
  • Sqoop（已更完）
  • Zookeeper（已更完）
  • HBase（已更完）
  • Redis （已更完）
  • Kafka（已更完）
  • Spark（已更完）
  • Flink（已更完）
  • ClickHouse（已更完）
  • Kudu（已更完）
  • Druid（正在更新…）

章节内容

上节我们完成了如下的内容：

  • Apache Druid 基本介绍
  • Apache Druid 技术特点
  • Apache Druid 应用场景

在这里插入图片描述

系统架构

Apache Druid 是一个高性能的实时分析数据库，专为快速聚合和查询大规模数据集而设计。它的架构由多个组件组成，每个组件在数据的存储、处理和查询中发挥重要作用。

（部分内容上节已经有了）

核心组件

数据摄取层 (Ingestion Layer)

  • 数据源: Druid 支持多种数据源，如 Kafka、HDFS、Amazon S3 等。数据摄取可以是批处理（Batch）或实时流处理（Streaming）。
  • 任务管理: 使用任务协调器来管理数据摄取任务，确保数据流的顺畅和高可用性。

数据存储层 (Storage Layer)

Segment: Druid 将数据分为多个小块，称为“段”（Segment）。每个段通常包含一段时间内的数据，并被优化以支持快速查询。
时间分区: Druid 根据时间将数据分区，以提高查询性能。数据按时间戳索引，有助于高效的时间范围查询。

查询层 (Query Layer)

  • Broker: 负责接收用户的查询请求并将其路由到相应的数据节点（如历史节点和实时节点）。
  • 查询执行: Druid 支持多种查询类型，包括聚合查询、过滤查询和分组查询。查询结果会通过 Broker 返回给用户。

历史节点 (Historical Node)

  • 存储并管理长时间的数据段，负责处理对历史数据的查询。

实时节点 (Real-time Node)

  • 用于实时摄取数据，实时处理并生成可查询的段。适合需要低延迟数据访问的应用。

协调节点 (Coordinator Node)

  • 负责管理 Druid 集群的各个节点，监控节点的健康状态、数据分布和负载均衡。

数据流动

  • 数据摄取: 数据从外部源流入 Druid（如 Kafka 消息队列），经过任务管理和转换后被摄取。
  • 数据存储: 数据被分段并存储在历史节点和实时节点中，按时间分区和压缩以优化存储。
  • 查询处理: 用户通过查询接口（如 SQL 或 Druid 特定的查询语言）发送查询请求，Broker 节点将请求分发到相应的数据节点，聚合和处理查询结果后返回。

查询优化

  • 列式存储: Druid 采用列式存储格式，提高了压缩率和查询性能。
  • 索引: Druid 会为每个字段建立索引，加速过滤和聚合操作。
  • 预聚合: 对常用的聚合操作进行预计算，以减少实时查询的计算负担。

可扩展性与高可用性

  • Druid 支持横向扩展，可以根据需求添加更多的节点来处理更大的数据集和更高的查询负载。
  • 数据冗余和节点监控机制确保了系统的高可用性。

下载解压

官方目前已经到了版本30了

wget https://dlcdn.apache.org/druid/30.0.0/apache-druid-30.0.0-bin.tar.gz

直接结果如下图所示：
在这里插入图片描述
进行解压：

tar -zxvf apache-druid-30.0.0-bin.tar.gz

执行结果如下图所示：
在这里插入图片描述
移动到目标目录：

mv apache-druid-30.0.0 /opt/servers/
cd /opt/servers/apache-druid-30.0.0
ls

执行结果如下图所示：
在这里插入图片描述

单机部署

配置文件

单服务器部署的配置文件如下：

conf/druid/single-server/
├── large
├── medium
├── micro-quickstart
├── nano-quickstart
├── small
└── xlarge

文件的路径如下图所示：
在这里插入图片描述

启动要求

单服务器的要求如下：

Nano-Quickstart：1个CPU，4GB RAM
启动命令： bin/start-nano-quickstart
配置目录： conf/druid/single-server/nano-quickstart/*
微型快速入门：4个CPU，16GB RAM
启动命令： bin/start-micro-quickstart
配置目录： conf/druid/single-server/micro-quickstart/*
小型：8 CPU，64GB RAM（〜i3.2xlarge）
启动命令： bin/start-small
配置目录： conf/druid/single-server/small/*
中：16 CPU，128GB RAM（〜i3.4xlarge）
启动命令： bin/start-medium
配置目录： conf/druid/single-server/medium/*
大型：32 CPU，256GB RAM（〜i3.8xlarge）
启动命令： bin/start-large
配置目录： conf/druid/single-server/large/*
大型X：64 CPU，512GB RAM（〜i3.16xlarge）
启动命令： bin/start-xlarge
配置目录： conf/druid/single-server/xlarge/*

环境变量

vim /etc/profile

写入如下的内容，记得刷新环境变量:

# druid
export DRUID_HOME=/opt/servers/apache-druid-30.0.0
export PATH=$PATH:$DRUID_HOME/bin

写入内容如下图所示：
在这里插入图片描述
(这里注意，要关闭其他的服务，比如ZK什么的，不然会提示2181端口会占用)

zkServer.sh stop

执行结果如下图所示：
在这里插入图片描述
接着进行启动，启动结果如下图所示：
在这里插入图片描述

查看页面

http://h121.wzk.icu:8888/

页面结果显示如下图：
在这里插入图片描述

在这里插入图片描述
PS：官方建议大型系统采用集群模式部署，以此来实现容错和减少资源的争抢。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/1547839.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

从‘盲管’到‘智网’，漫途精准构建排水管网监测方案

从‘盲管’到‘智网’，漫途精准构建排水管网监测方案

在城市错综复杂的基础设施网络中，排水管网作为城市的“血脉”，其高效、稳定运行直接关系到城市生活的安宁与财产的安全。面对日益频繁的雨季挑战与气候变化的不确定性，传统“盲管”管理模式已难以满足现代城市治理的需求。 漫途排水管网监测…
阅读更多...
LED显示屏如何通过FMEA进行风险分析：打造无忧显示新境界

LED显示屏如何通过FMEA进行风险分析：打造无忧显示新境界

LED显示屏作为高科技产品，其性能受到多种因素的影响，包括但不限于设计缺陷、材料质量、制造工艺、使用环境等。任何环节的疏漏都可能导致显示屏出现亮度不均、色彩失真、故障频发等问题，进而影响用户体验和品牌形象。因此，通过FME…
阅读更多...
Linux标准IO（四）-格式化I/O输入

Linux标准IO（四）-格式化I/O输入

C 库函数提供了 3 个格式化输入函数&#xff0c;包括&#xff1a;scanf()、fscanf()、sscanf()&#xff0c;其函数定义如下所示&#xff1a; #include <stdio.h> int scanf(const char *format, ...); int fscanf(FILE *stream, const char *format, ...); int sscanf(c…
阅读更多...
Spring Web MVC课后作业

Spring Web MVC课后作业

目录 1.加法计算器 2.⽤户登录 3.留⾔板 1.加法计算器 &#xff08;1&#xff09;需求分析 加法计算器功能, 对两个整数进⾏相加, 需要客⼾端提供参与计算的两个数, 服务端返回这两个整数计算 的结果。 &#xff08;2&#xff09;接⼝定义 请求路径&#xff1a; calc/sum 请…
阅读更多...
爬取元气手机壁纸简单案例（仅用于教学，禁止任何非法获利）

爬取元气手机壁纸简单案例（仅用于教学，禁止任何非法获利）

爬虫常用的库 爬虫&#xff08;Web Scraping&#xff09;是一种从网页上提取数据的技术。在 Python 中&#xff0c;有许多库可以帮助实现这一目标。以下是一些常用的爬虫库&#xff0c;以及对 BeautifulSoup 的详细介绍。 常用爬虫库 1.Requests ​ a.功能&#xff1a;用于发…
阅读更多...
spark计算引擎-架构和应用

spark计算引擎-架构和应用

一Spark 定义&#xff1a;Spark 是一个开源的分布式计算系统&#xff0c;它提供了一个快速且通用的集群计算平台。Spark 被设计用来处理大规模数据集&#xff0c;并且支持多种数据处理任务&#xff0c;包括批处理、交互式查询、机器学习、图形处理和流处理。 核心架构&#x…
阅读更多...
ChatGPT Sidebar 浏览器插件配置指南

ChatGPT Sidebar 浏览器插件配置指南

随着聊天机器人技术的不断进步&#xff0c;越来越多的人开始依赖这些强大的工具来提高工作效率、获取信息和解决问题。OpenAI 的 ChatGPT 是其中最受欢迎的聊天机器人之一。为了方便用户在浏览网页时随时与 ChatGPT 互动&#xff0c;开发者们设计了一款名为 ChatGPT Sidebar 的…
阅读更多...
Latex——一行的划线 如何分开

Latex——一行的划线 如何分开

代码&#xff1a; \cmidrule(r){3-4} \cmidrule(r){5-6} \cmidrule(r){7-8}效果&#xff1a; 参考文章&#xff1a; LaTeX技巧653&#xff1a;如何隔开LaTeX表格邻近\cline表格线&#xff1f;
阅读更多...
四，MyBatis-Plus 当中的主键策略和分页插件的(详细实操使用)

四，MyBatis-Plus 当中的主键策略和分页插件的(详细实操使用)

四&#xff0c;MyBatis-Plus 当中的主键策略和分页插件的(详细实操使用) 文章目录 四&#xff0c;MyBatis-Plus 当中的主键策略和分页插件的(详细实操使用)1. 主键策略1.1 主键生成策略介绍 2. 准备工作&#xff1a;2.1 AUTO 策略2.2 INPUT 策略2.3 ASSIGN_ID 策略2.3.1 雪花算…
阅读更多...
电动车、电单车入梯数据集电动车进电梯检测识别(代码+教程+数据集)

电动车、电单车入梯数据集电动车进电梯检测识别(代码+教程+数据集)

数据集介绍 共有 5347 张图像和一一对应的标注文件 标注文件格式提供了两种&#xff0c;包括VOC格式的xml文件和YOLO格式的txt文件。 标注的对象共有以下几种&#xff1a; [‘Electric-bicycle’] 标注框的数量信息如下&#xff1a;&#xff08;标注时一般是用英文标的&am…
阅读更多...
AC-DC电源自动测试系统介绍

AC-DC电源自动测试系统介绍

AC-DC电源模块测试系统是一种高度自动化的测试设备&#xff0c;能够模拟实际工作环境中的交流电输入&#xff0c;并测量电源模块的输出电压、电流、功率等关键参数&#xff0c;以及评估其电磁兼容性、效率、热特性等性能指标。 AC-DC电源模块测试系统的主要硬件组成包括&#…
阅读更多...
TDEngine在煤矿综采管控平台中的应用

TDEngine在煤矿综采管控平台中的应用

一、行业背景 智能综采管控平台&#xff0c;是将煤矿综采工作面传感器数据采集&#xff0c;通过可视化界面展示。实现综采工作面的透明化展示&#xff0c;并基于历史的传感器数据进行机器学习的训练&#xff0c;了解工作面周期来压&#xff0c;设备故障检测等数据应用。因此针…
阅读更多...
纷享销客生态伙伴大会西安站圆满落幕，共话CRM新纪元

纷享销客生态伙伴大会西安站圆满落幕，共话CRM新纪元

9月19日&#xff0c;以“智享未来&#xff0c;领创CRM新纪元”为主题的纷享销客生态伙伴大会在西安成功举办。本次会议汇聚了SaaS领域、软件行业以及TOB市场的杰出代表、行业领袖以及技术前沿专家&#xff0c;共同探讨SaaS CRM行业的当前发展趋势&#xff0c;并就AI在CRM领域的…
阅读更多...
如何使用ssm实现基于web的山东红色旅游信息管理系统的设计与实现

如何使用ssm实现基于web的山东红色旅游信息管理系统的设计与实现

TOC ssm716基于web的山东红色旅游信息管理系统的设计与实现jsp 绪论 1.1研究背景 从古到今&#xff0c;信息的录入&#xff0c;存储&#xff0c;检索都受制于社会生产力的发展&#xff0c;不仅仅浪费大量的人力资源还需要浪费大量的社会物资&#xff0c;并且不能长时间的保…
阅读更多...
c++----继承（初阶）

c++----继承（初阶）

大家好呀&#xff0c;今天我们也是多久没有更新博客了&#xff0c;今天来讲讲我们c加加中的一个比较重要的知识点继承。首先关于继承呢&#xff0c;大家从字面意思看&#xff0c;是不是像我们平常日常生活中很容易出现的&#xff0c;比如说电视剧里面什么富豪啊&#xff0c;去了…
阅读更多...
mybatis-puls快速入门

mybatis-puls快速入门

1.概述 在真实项目开发中我们的服务模块&#xff0c;一般都要进行数据库操作&#xff0c;并且每个domain都有crud&#xff0c;需多次写重复代码。我们使用MybatisPlus&#xff0c;就不用写重复代码&#xff0c;并且还有模板的功能&#xff0c;可以一键生成daomin,query,mapper…
阅读更多...
如何在 Windows PC 或笔记本电脑上恢复未保存的 Word 文档

如何在 Windows PC 或笔记本电脑上恢复未保存的 Word 文档

辛苦工作成果消失得无影无踪可能是任何人最可怕的噩梦&#xff0c;尤其是如果这是一篇长篇论文或项目报告。此问题可能是由于 Windows PC 或笔记本电脑上未保存的 Word 文档造成的。不过&#xff0c;不要惊慌&#xff1b;您仍然有机会在 Windows 机器上恢复未保存的 Word 文档。…
阅读更多...
AI驱动的Java开发框架：Spring AI Alibaba实战部署教程

AI驱动的Java开发框架：Spring AI Alibaba实战部署教程

前言 随着生成式 AI 的快速发展&#xff0c;基于 AI 开发框架构建 AI 应用的诉求迅速增长&#xff0c;涌现出了包括 LangChain、LlamaIndex 等开发框架&#xff0c;但大部分框架只提供了 Python 语言的实现。但这些开发框架对于国内习惯了 Spring 开发范式的 Java 开发者而言&a…
阅读更多...
51 驱动 ADS1115 AD采集

51 驱动 ADS1115 AD采集

文章目录 一、ADS1115简介二、引脚功能三、功能介绍1.MULTIPLEXER2.量程3.数字比较器4.寄存器写入或读取时序5.数据格式 四、寄存器介绍1.地址指针寄存器2.转化数据存放寄存器3.配置寄存器4.比较器高低阈值寄存器 五、程序六、实验现象 一、ADS1115简介 ADS1115是高精度模数转…
阅读更多...
软考高级：软件架构风格 AI 解读

软考高级：软件架构风格 AI 解读

软件架构风格指的是构建软件系统时常用的一些设计模式或设计方法。它们帮助开发人员从高层次组织代码、功能模块和数据流的方式。让我们通俗地解释一下几种常见的软件架构风格。 生活化例子 假设我们在做一桌丰盛的晚餐&#xff0c;分别由不同的厨师负责炒菜、煲汤、做甜点&a…
阅读更多...
最新文章

Copyright @ 2022~2023