Apache Doris：深度优化与最佳实践

引言

在前两篇文章中，我们已经介绍了 Apache Doris 的基本概念、安装配置、基础操作以及一些高级特性。本文将进一步深入探讨 Doris 的性能优化技巧、高级查询优化、数据建模最佳实践以及常见问题的解决方法。通过本文，读者将能够更好地理解和应用 Doris 的高级功能，从而提升系统的整体性能和稳定性。

性能优化技巧

1. 合理设置 Bucket 数

Bucket 数直接影响数据的分布和查询性能。合理的 Bucket 数可以避免数据倾斜，提高查询效率。

实践示例

假设我们有一个用户行为表 user_behavior，我们需要根据 user_id 进行分区和桶分配。

CREATE TABLE user_behavior (user_id INT,item_id INT,category_id INT,behavior STRING,ts TIMESTAMP
) ENGINE=OLAP
PARTITION BY RANGE (ts)
(PARTITION p1 VALUES LESS THAN ('2024-01-01'),PARTITION p2 VALUES LESS THAN ('2024-02-01'))
DISTRIBUTED BY HASH(user_id) BUCKETS 10
PROPERTIES ("replication_num" = "1");

2. 预聚合

预聚合可以显著提高查询性能，特别是在需要频繁进行聚合操作的场景中。

实践示例

假设我们需要频繁统计每天各个类别的销售数量，可以创建一个预聚合表 pre_aggregated_sales。

CREATE TABLE pre_aggregated_sales (category_id INT,ts DATE,sales_count BIGINT SUM
) ENGINE=OLAP AGGREGATE KEY(category_id, ts)
DISTRIBUTED BY HASH(category_id) BUCKETS 10
PROPERTIES ("replication_num" = "1");-- 插入预聚合数据
INSERT INTO pre_aggregated_sales
SELECT category_id, DATE(ts), COUNT(*) AS sales_count
FROM user_behavior
GROUP BY category_id, DATE(ts);

3. 索引优化

合理使用索引可以显著提高查询性能。Doris 支持多种索引类型，包括 Bitmap 索引和 Bloom Filter 索引。

Bitmap 索引

适用于基数较小的列，如性别、状态等。

CREATE TABLE bitmap_index_table (user_id INT,gender TINYINT BITMAP INDEX
) ENGINE=OLAP DUPLICATE KEY(user_id)
DISTRIBUTED BY HASH(user_id) BUCKETS 10
PROPERTIES ("replication_num" = "1");
Bloom Filter 索引

适用于需要快速过滤大量数据的场景。

CREATE TABLE bloom_filter_table (user_id INT,name VARCHAR(255) BLOOM FILTER (100000, 0.01)
) ENGINE=OLAP DUPLICATE KEY(user_id)
DISTRIBUTED BY HASH(user_id) BUCKETS 10
PROPERTIES ("replication_num" = "1");

4. 缓存机制

利用 Doris 的缓存机制可以减少磁盘 I/O，提高查询速度。

实践示例

开启查询缓存：

SET enable_query_cache = true;

5. 分区策略

合理的分区策略可以显著提高查询性能。Doris 支持范围分区和列表分区。

范围分区

适用于按时间范围划分数据的场景。

CREATE TABLE range_partition_table (user_id INT,order_id INT,order_date DATE
) ENGINE=OLAP DUPLICATE KEY(user_id, order_id)
PARTITION BY RANGE (order_date)
(PARTITION p1 VALUES LESS THAN ('2024-01-01'),PARTITION p2 VALUES LESS THAN ('2024-02-01'))
DISTRIBUTED BY HASH(user_id) BUCKETS 10
PROPERTIES ("replication_num" = "1");
列表分区

适用于按特定值划分数据的场景。

CREATE TABLE list_partition_table (user_id INT,region STRING
) ENGINE=OLAP DUPLICATE KEY(user_id)
PARTITION BY LIST (region)
(PARTITION p1 VALUES IN ('North', 'South'),PARTITION p2 VALUES IN ('East', 'West'))
DISTRIBUTED BY HASH(user_id) BUCKETS 10
PROPERTIES ("replication_num" = "1");

高级查询优化

1. 子查询优化

子查询在某些情况下会导致性能下降。通过改写查询语句，可以显著提高查询性能。

实践示例

假设我们需要查询每个用户的最近一次购买记录。

原始查询：

SELECT user_id, MAX(ts) AS latest_purchase
FROM user_behavior
GROUP BY user_id;

优化后的查询：

WITH latest_purchase AS (SELECT user_id, MAX(ts) AS latest_purchase_tsFROM user_behaviorGROUP BY user_id
)
SELECT ub.user_id, ub.item_id, ub.category_id, ub.ts
FROM user_behavior ub
JOIN latest_purchase lp ON ub.user_id = lp.user_id AND ub.ts = lp.latest_purchase_ts;

2. 索引覆盖

索引覆盖是指查询的所有列都在索引中，这样可以避免回表查询，提高查询性能。

实践示例

假设我们有一个用户表 users，经常需要查询用户的姓名和年龄。

CREATE TABLE users (user_id INT,name VARCHAR(255),age INT,email VARCHAR(255)
) ENGINE=OLAP DUPLICATE KEY(user_id)
DISTRIBUTED BY HASH(user_id) BUCKETS 10
PROPERTIES ("replication_num" = "1");-- 创建索引覆盖的二级索引
ALTER TABLE users ADD INDEX idx_name_age (name, age);

3. 并行查询

Doris 支持并行查询，通过增加并行度可以显著提高查询性能。

实践示例

增加并行度：

SET parallel_exec_instance_num = 10;

数据建模最佳实践

1. 数据模型选择

Doris 支持多种数据模型，每种模型适用于不同的场景。选择合适的数据模型对于提高查询性能至关重要。

Aggregate Key 模型

适用于需要对某个维度进行聚合计算的场景。

CREATE TABLE agg_table (k1 INT,v1 INT SUM,v2 DOUBLE MAX
) ENGINE=OLAP AGGREGATE KEY(k1)
DISTRIBUTED BY HASH(k1) BUCKETS 10
PROPERTIES ("replication_num" = "1");
Unique Key 模型

适用于需要唯一键值的场景。

CREATE TABLE unique_table (k1 INT,v1 VARCHAR(255)
) ENGINE=OLAP UNIQUE KEY(k1)
DISTRIBUTED BY HASH(k1) BUCKETS 10
PROPERTIES ("replication_num" = "1");
Duplicate Key 模型

适用于需要保留所有记录的场景。

CREATE TABLE dup_table (k1 INT,v1 VARCHAR(255)
) ENGINE=OLAP DUPLICATE KEY(k1)
DISTRIBUTED BY HASH(k1) BUCKETS 10
PROPERTIES ("replication_num" = "1");

2. 数据清洗与预处理

在数据导入 Doris 之前，进行必要的数据清洗和预处理可以提高数据质量和查询性能。

实践示例

假设我们有一个原始数据文件 raw_data.csv，需要进行数据清洗后再导入 Doris。

# 数据清洗脚本
awk -F ',' '{ if ($3 > 0 && $4 <= 100) print $0 }' raw_data.csv > cleaned_data.csv

LOAD LABEL test.load_label_1
(DATA INFILE("file:///path/to/cleaned_data.csv")INTO TABLE example_tableCOLUMNS TERMINATED BY ","(id, name, age, join_date)
);

3. 数据生命周期管理

合理管理数据的生命周期，定期删除不再需要的历史数据，可以节省存储空间并提高查询性能。

实践示例

假设我们需要定期删除一年前的数据。

DELETE FROM user_behavior
WHERE ts < DATE_SUB(CURDATE(), INTERVAL 1 YEAR);

常见问题及解决方案

1. 数据导入失败

问题描述：数据导入过程中遇到错误，提示“Load failed”。

解决方案：

  • 检查数据格式是否符合表结构定义。
  • 查看 Doris 日志，定位具体的错误原因。
  • 使用 SHOW LOAD 命令查看导入任务的状态和错误信息。
SHOW LOAD WHERE Label = 'load_label_1';

2. 查询性能低下

问题描述：查询响应时间过长。

解决方案：

  • 分析查询计划，找出性能瓶颈。
  • 优化索引和分区策略。
  • 调整 Doris 的配置参数，如 max_memory_limit 和 num_nodes_per_scan。
EXPLAIN SELECT * FROM large_table WHERE k1 > 1000;

3. 集群扩容

问题描述：随着数据量的增长，现有集群无法满足需求。

解决方案：

  • 添加新的 BE 节点。
  • 调整 Bucket 数和分区策略，重新平衡数据分布。
# 添加新节点
./bin/add_backend.sh <new_be_host>:<be_port>

4. 数据一致性问题

问题描述：数据更新后，查询结果不一致。

解决方案：

  • 使用分布式事务确保数据的一致性。
  • 调整事务隔离级别，确保事务的正确性。
BEGIN;
INSERT INTO example_table VALUES (4, 'David', 30, '2023-04-01');
UPDATE example_table SET age = 31 WHERE id = 4;
COMMIT;

5. 内存不足

问题描述：系统运行过程中出现内存不足的问题。

解决方案：

  • 增加节点的内存配置。
  • 优化查询语句，减少内存占用。
  • 调整 Doris 的内存相关配置参数，如 max_memory_limit。
# 修改配置文件 be.conf
max_memory_limit = 32GB

结论

本文深入探讨了 Apache Doris 的性能优化技巧、高级查询优化、数据建模最佳实践以及常见问题的解决方案。通过本文，读者将能够更好地理解和应用 Doris 的高级功能，从而提升系统的整体性能和稳定性。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/15831.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

Easyui ComboBox 数据加载完成之后过滤数据

Easyui ComboBox 数据加载完成之后过滤数据

Easyui ComboBox 数据加载完成之后过滤数据 需求 在ComboBox 下拉框中过滤包含"物联网"三个字的选项 现状 期望 实现方式 使用 combobox 的方法在加载时过滤 loadFilter 方式一&#xff1a;HTML中编写 <input id"enterpriseDepartmentCode" name&…
阅读更多...
vue跳转传参

vue跳转传参

path 跳转只能使用 query 传参 ,name 跳转都可以 params &#xff1a;获取来自动态路由的参数 query &#xff1a;获取来自 search 部分的参数
阅读更多...
div加4个角边框 css

div加4个角边框 css

效果&#xff1a; :root {--corner-color: #4ba7f5; } .data-item {position: relative;width: 100px;height: 60px;overflow: hidden;background: linear-gradient(to left, var(--corner-color), var(--corner-color)) left top no-repeat,linear-gradient(to bottom, var(-…
阅读更多...
108. UE5 GAS RPG 实现地图名称更新和加载关卡

108. UE5 GAS RPG 实现地图名称更新和加载关卡

在这一篇里&#xff0c;我们将实现对存档的删除功能&#xff0c;在删除时会有弹框确认。接着实现获取玩家的等级和地图名称和存档位置&#xff0c;我们可以通过存档进入游戏&#xff0c;玩家在游戏中可以在存档点存储存档。 实现删除存档 删除存档需要一个弹框确认&#xff0…
阅读更多...
CAN编程示例之socket CAN

CAN编程示例之socket CAN

socket CAN概念 socketcan子系统是在Linux下CAN协议(Controller Area Network)实现的一种实现方法。 CAN是一种在世界范围内广泛用于自动控制、嵌入式设备和汽车领域的网络技术。Linux下最早使用CAN的方法是基于字符设备来实现的&#xff0c;与之不同的是Socket CAN使用伯克利…
阅读更多...
如何使用.bat实现检测电脑网络连接是否正常？

如何使用.bat实现检测电脑网络连接是否正常？

1、在电脑桌面新建一个记事本文档&#xff0c;将如下内容写进去&#xff1a; echo 正在检查中...echo off ping www.baidu.com -t pause:: 这是注释2、然后&#xff0c;保存一下&#xff0c;再把桌面此文件重命名为检查电脑外网连接.bat 3、双击此程序&#xff0c;可以检测…
阅读更多...
C#高级：使用Invoke关键字通过 Type 类型调用指定的方法

C#高级：使用Invoke关键字通过 Type 类型调用指定的方法

demo如下&#xff1a; using System.Reflection; using System;public class Program {public class Calculator{public int Add(int a, int b){return a b;}}public class Student{public string Name { get; set; }}public class Example{// 泛型方法public string Generi…
阅读更多...
VTK知识学习（8）-坐标系统

VTK知识学习（8）-坐标系统

1、概述 计算机图形学里常用的坐标系统有4种&#xff1a; 1&#xff09;、Model坐标系统。定义模型时所采用的坐标系统&#xff0c;通常是局部的笛卡儿坐标系。 2&#xff09;、World坐标系统。是放置Actor的三维空间坐标系。 Actor&#xff08;vtkActor类&am…
阅读更多...
MongoDB新版本安装配置教程（7.0.15版本-zip下载）

MongoDB新版本安装配置教程（7.0.15版本-zip下载）

找了半天MongoDB新版本怎么解决没有mongo命令,都没有很好的解决方法 现在分享一下: 首先下载: 然后手动创建 data 和 log 两个文件夹 然后再系统变量配置环境变量 在data的目录下&#xff0c;创建一个db文件 然后:在bin目录下cmd执行: mongod --dbpath D:\MongoDB\data\db …
阅读更多...
在Docker环境下为Nginx配置HTTPS

在Docker环境下为Nginx配置HTTPS

前言 配置HTTPS已经成为网站部署的必要步骤。本教程将详细介绍如何在Docker环境下为Nginx配置HTTPS&#xff0c;使用自签名证书来实现加密通信。虽然在生产环境中建议使用权威CA机构颁发的证书&#xff0c;但在开发测试或内网环境中&#xff0c;自签名证书是一个很好的选择。 …
阅读更多...
QEMU 模拟器中运行的 Linux 系统

QEMU 模拟器中运行的 Linux 系统

这两个文件通常用于在 QEMU 模拟器中运行的 Linux 系统&#xff0c;具体作用如下&#xff1a; 1. linux-aarch64-qemu.ext4&#xff1a; - **文件类型**&#xff1a;这是一个文件系统镜像文件&#xff0c;通常是 ext4 文件系统格式。 - **作用**&#xff1a;它包含了 Li…
阅读更多...
Struts扫盲

Struts扫盲

Struts扫盲 这里的struts是struts1。以本文记录我的那些复习JavaEE的痛苦并快乐的晚上 Struts是什么 框架的概念想必大家都清楚&#xff0c;框架即“半成品代码”&#xff0c;是为了简化开发而设计的。一个项目有许多分层&#xff0c;拿一个MVC架构的Web应用来说&#xff0c;有…
阅读更多...
【论文精读】GOT-OCR2.0源码论文——打破传统OCR流程的多模态视觉-语言大模型架构：预训练VitDet 视觉模型+ 阿里通义千问Qwen语言模型

【论文精读】GOT-OCR2.0源码论文——打破传统OCR流程的多模态视觉-语言大模型架构：预训练VitDet 视觉模型+ 阿里通义千问Qwen语言模型

作为本系列的开篇文章&#xff0c;首先定下本系列的整体基调。论文精读系列&#xff0c;旨在记录研读深度学习、强化学习相关论文的个人心得和理解&#xff0c;仅供参考&#xff0c;欢迎指正错误和研究探讨。 所有文章只会摘选论文部分进行分析&#xff0c;且不一定按原文行文顺…
阅读更多...
【Rust 编程语言工具】rustup-init.exe 安装与使用指南

【Rust 编程语言工具】rustup-init.exe 安装与使用指南

rustup-init.exe 是用于安装和管理 Rust 编程语言工具链的 Windows 可执行文件。Rust 是一种系统级编程语言&#xff0c;旨在提供安全、并发和高性能的功能。rustup-init.exe 是官方提供的安装器&#xff0c;用于将 Rust 安装到 Windows 操作系统中&#xff0c;并配置相关环境。…
阅读更多...
【Hutool系列】反射工具-ReflectUtil

【Hutool系列】反射工具-ReflectUtil

前言 反射是 Java 中一种强大的机制&#xff0c;可以在运行时动态地获取类的信息并操作类的属性和方法。在 Java 中&#xff0c;通过反射可以获取和设置类的字段、调用类的方法、创建类的实例等。Java的反射机制&#xff0c;可以让语言变得更加灵活&#xff0c;对对象的操作也更…
阅读更多...
Microsoft Fabric - 尝试一下Real time event stream

Microsoft Fabric - 尝试一下Real time event stream

1. 简单介绍 微软推出的Microsoft Fabric平台已经有一段时间了&#xff0c;这是一个Data engineer, Data Sciencist, Business等多种工作角色的人员可以一起工作的一个大平台。 note, Microsoft Fabric 提出了OneLake, LakeHouse的概念&#xff0c;同时为了防止数据冗余&#…
阅读更多...
数字图像处理(c++ opencv)：图像复原与重建-常见的滤波方法--自适应滤波器

数字图像处理(c++ opencv)：图像复原与重建-常见的滤波方法--自适应滤波器

自适应局部降噪滤波器 自适应局部降噪滤波器&#xff08;Adaptive, Local Noise Reduction Filter&#xff09;原理步骤 步骤 &#xff08;1&#xff09;计算噪声图像的方差 &#xff1b; &#xff08;2&#xff09;计算滤波器窗口内像素的均值 和方差 &#xff1b; &…
阅读更多...
C++：类和对象（上）

C++：类和对象（上）

目录 一、类的定义 二、 访问限定符 三、 实例化概念类&#xff1a; 类&#xff08;Class&#xff09; 对象&#xff08;Object&#xff09; 实例化&#xff08;Instantiation&#xff09; 四、 对象大小 五、this 指针的基本概念 this 指针的作用&#xff1a; this 指…
阅读更多...
如何在vscode 中打开新文件不覆盖上一个窗口

如何在vscode 中打开新文件不覆盖上一个窗口

在 VSCode 中&#xff0c;如果你单击文件时出现了覆盖Tab的情况&#xff0c;这通常是因为VSCode默认开启了预览模式。在预览模式下&#xff0c;单击新文件会覆盖当前预览的文件Tab。为了解决这个问题&#xff0c;你可以按照以下步骤进行操作 1.打开VSCode&#xff1a;启动你的…
阅读更多...
Linux篇（权限管理命令）

Linux篇（权限管理命令）

目录 一、权限概述 1. 什么是权限 2. 为什么要设置权限 3. Linux中的权限类别 4. Linux中文件所有者 4.1. 所有者分类 4.2. 所有者的表示方法 属主权限 属组权限 其他权限 root用户&#xff08;超级管理员&#xff09; 二、普通权限管理 1. ls查看文件权限 2. 文件…
阅读更多...
最新文章

Copyright @ 2022~2023