压测实操--kafka-consumer压测方案

作者：九月

环境信息：

操作系统centos7.9，kafka版本为hdp集群中的2.0版本。

Consumer相关参数

使用Kafka自带的kafka-consumer-perf-test.sh脚本进行压测，该脚本参数为：

请添加图片描述

请添加图片描述

请添加图片描述

thread：测试时的单机线程数；

fetch-size：抓取数据量；

partition:分区数，主要是和线程复合来测试；

replication:副本数；

througout:我们所需要的吞吐量，单位时间内处理消息的数量，可能对我们处理消息的延迟有影响；

consumer测试

fetch-size

fetch-size=524288
/usr/hdp/3.1.5.0-152/kafka/bin/kafka-consumer-perf-test.sh --broker-list 172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667 --topic test_kafka_consumer --messages 10000000 --fetch-size  524288  --threads 4
fetch-size=1048576
/usr/hdp/3.1.5.0-152/kafka/bin/kafka-consumer-perf-test.sh --broker-list 172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667 --topic test_kafka_consumer --messages 10000000 --fetch-size  1048576  --threads 4
fetch-size=2097152
/usr/hdp/3.1.5.0-152/kafka/bin/kafka-consumer-perf-test.sh --broker-list 172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667 --topic test_kafka_consumer --messages 10000000 --fetch-size  2097152  --threads 4
fetch-size=3145728
/usr/hdp/3.1.5.0-152/kafka/bin/kafka-consumer-perf-test.sh --broker-list 172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667 --topic test_kafka_consumer --messages 10000000 --fetch-size  3145728  --threads 4
fetch-size=4194304
/usr/hdp/3.1.5.0-152/kafka/bin/kafka-consumer-perf-test.sh --broker-list 172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667 --topic test_kafka_consumer --messages 10000000 --fetch-size  4194304  --threads 4
fetch-size=5242880
/usr/hdp/3.1.5.0-152/kafka/bin/kafka-consumer-perf-test.sh --broker-list 172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667 --topic test_kafka_consumer --messages 1000000 --fetch-size  5242880  --threads 4

partitions

创建不同partitions的topic
/usr/hdp/3.1.5.0-152/kafka/bin/kafka-topics.sh --create  --zookeeper mutong01:2181,mutong02:2181,mutong03:2181  --topic test_kafka_consumer1  --partitions 1 --replication-factor 1/usr/hdp/3.1.5.0-152/kafka/bin/kafka-topics.sh --create  --zookeeper mutong01:2181,mutong02:2181,mutong03:2181  --topic test_kafka_consumer2  --partitions 2 --replication-factor 1/usr/hdp/3.1.5.0-152/kafka/bin/kafka-topics.sh --create  --zookeeper mutong01:2181,mutong02:2181,mutong03:2181  --topic test_kafka_consumer3  --partitions 3 --replication-factor 1/usr/hdp/3.1.5.0-152/kafka/bin/kafka-topics.sh --create  --zookeeper mutong01:2181,mutong02:2181,mutong03:2181  --topic test_kafka_consumer4  --partitions 4 --replication-factor 1
topic生产数据
/usr/hdp/3.1.5.0-152/kafka/bin/kafka-producer-perf-test.sh  --topic test_kafka_consumer1 --num-records  100000000 --record-size 687  --producer-props bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 --throughput 30000/usr/hdp/3.1.5.0-152/kafka/bin/kafka-producer-perf-test.sh  --topic test_kafka_consumer2 --num-records  100000000 --record-size 687  --producer-props bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 --throughput 30000/usr/hdp/3.1.5.0-152/kafka/bin/kafka-producer-perf-test.sh  --topic test_kafka_consumer3 --num-records  100000000 --record-size 687  --producer-props bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 --throughput 30000/usr/hdp/3.1.5.0-152/kafka/bin/kafka-producer-perf-test.sh  --topic test_kafka_consumer4 --num-records  100000000 --record-size 687  --producer-props bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 --throughput 30000
消费不同partitions的topic

消费不同partitions的topic，获取不同partition下的吞吐量

/usr/hdp/3.1.5.0-152/kafka/bin/kafka-consumer-perf-test.sh --broker-list 172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667 --topic test_kafka_consumer1 --messages 10000000 --fetch-size  1048576  --threads 4 /usr/hdp/3.1.5.0-152/kafka/bin/kafka-consumer-perf-test.sh --broker-list 172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667 --topic test_kafka_consumer2 --messages 10000000 --fetch-size  1048576  --threads 4 /usr/hdp/3.1.5.0-152/kafka/bin/kafka-consumer-perf-test.sh --broker-list 172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667 --topic test_kafka_consumer3 --messages 10000000 --fetch-size  1048576  --threads 4 /usr/hdp/3.1.5.0-152/kafka/bin/kafka-consumer-perf-test.sh --broker-list 172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667 --topic test_kafka_consumer4 --messages 10000000 --fetch-size  1048576  --threads 4

fetch-threads

fetch-thread=1
/usr/hdp/3.1.5.0-152/kafka/bin/kafka-consumer-perf-test.sh --broker-list 172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667 --topic test_kafka_consumer --fetch-size 1048576  --messages 10000000  --threads 1  --num-fetch-threads 1
fetch-thread=4
/usr/hdp/3.1.5.0-152/kafka/bin/kafka-consumer-perf-test.sh --broker-list 172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667 --topic test_kafka_consumer --fetch-size 1048576  --messages 10000000  --threads 1  --num-fetch-threads 4
fetch-thread=7
/usr/hdp/3.1.5.0-152/kafka/bin/kafka-consumer-perf-test.sh --broker-list 172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667 --topic test_kafka_consumer --fetch-size 1048576  --messages 10000000  --threads 1  --num-fetch-threads 7
fetch-thread=10
/usr/hdp/3.1.5.0-152/kafka/bin/kafka-consumer-perf-test.sh --broker-list 172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667 --topic test_kafka_consumer --fetch-size 1048576  --messages 10000000  --threads 1  --num-fetch-threads 10

总结

使用kafka自带的kafka-consumer-perf-test.sh脚本对集群消费情况进行压测，根据业务情况设置要测试的messager条数。不同的变量因素，通过修改其中一个变量条件，固定其余变量值，获取对应的吞吐速率。整理不同条件下的指标结果，形成曲线就可以观察具体的消费趋势。

请添加图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/1487176.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

数据结构（稀疏数组）

数据结构（稀疏数组）

简介 稀疏数组是一种数据结构，用于有效地存储和处理那些大多数元素都是零或者重复值的数组。在稀疏数组中，只有非零或非重复的元素会被存储，从而节省内存空间。 案例引入 假如想把下面这张表存入文件，我们会怎么做？…
阅读更多...
Ubuntu 修改源地址

Ubuntu 修改源地址

注意事项：版本说明！！！ Ubuntu24.04的源地址配置文件发生改变。 不再使用以前的 sources.list 文件，该文件内容变成了一行注释： # Ubuntu sources have moved to /etc/apt/sources.list.d/ubuntu.sources…
阅读更多...
U盘有盘符但是打不开？深度解析与双路径恢复策略

U盘有盘符但是打不开？深度解析与双路径恢复策略

数字时代，U盘作为我们日常工作和生活中不可或缺的数据存储工具，其稳定性和可靠性直接关系到我们数据的安全。然而，当您遇到U盘已成功识别盘符，却无法正常访问的情况时，这无疑是一个令人头疼的问题。本文将围绕“U盘有盘…
阅读更多...
我在百科荣创企业实践——简易函数信号发生器（5）

我在百科荣创企业实践——简易函数信号发生器（5）

对于高职教师来说，必不可少的一个任务就是参加企业实践。这个暑假，本人也没闲着，报名参加了上海市电子信息类教师企业实践。7月8日到13日，有幸来到美丽的泉城济南，远离了上海的酷暑，走进了百科荣创科技发展有限公司。在这短短的一周时间里，我结合自己的教学经验和企业的…
阅读更多...
【保姆级教程】油猴脚本的安装使用

【保姆级教程】油猴脚本的安装使用

目录 前言 一、油猴简介 1. 核心功能 2. 应用场景 3. 安全性与兼容性 4. 社区生态 二、教学开始（嫌麻烦直接目录跳转开始学习） 1.插件安装（以Microsoft Edge浏览器为例） 2.获取脚本 3.大展身手 三、扩展（脚…
阅读更多...
【23】Android高级知识之Window(四) - ThreadedRenderer

【23】Android高级知识之Window(四) - ThreadedRenderer

一、概述 在上一篇文章中已经讲了setView整个流程中，最开始的addToDisplay和WMS跨进程通信的整个过程做了什么。继文章Android基础知识之Window(二)，这算是另外一个分支了，接着讲分析在performTraversals的三个操作中，最后触发pe…
阅读更多...
Ansible的脚本-----playbook剧本【上】

Ansible的脚本-----playbook剧本【上】

目录 1.playbook剧本组成 2.playbook剧本实战演练 2.1 实战演练一：给被管理主机安装httpd服务 2.2 实战演练二：定义、引用变量 2.3 实战演练三：指定远程主机sudo切换用户 2.4 实战演练四：when条件判断 2.5 实战演练五&…
阅读更多...
一家银行数据库的六年攻坚战

一家银行数据库的六年攻坚战

前沿科技，数智经济 文｜白 鸽 编｜王一粟 从传统的商业数据库Oracle，到后来加入的MySQL数据库，再到现如今的分布式数据库，中国金融行业数据库的转型升级走过了多年时间。 “2018年，我们提出…
阅读更多...
《你敢不学习？》numpy库——细细学＜2＞

《你敢不学习？》numpy库——细细学＜2＞

续接上集: 1、reshape函数：重塑数组的形状 改变数组的维度 其语法为 numpy.reshape(arr, newshape, orderC) 如下图所示 首先生成一个1到17不包括17的16个元素的数组，然后对这个数组进行重塑，使其成为4行4列的二维数组，注意&…
阅读更多...
【Micropython入门】Thoony安装并烧录固件到ESP32

【Micropython入门】Thoony安装并烧录固件到ESP32

文章目录 前言Thonny IDE 介绍Thoony的下载烧录固件到ESP32下载固件烧录固件烧录时的小问题 总结 前言 MicroPython 是一款为微控制器设计的精简版 Python 解释器，它以其简洁和强大的特性赢得了众多嵌入式开发者的青睐。ESP32 是一款功能强大且价格低廉的微控制器&…
阅读更多...
React开发者并不存在

React开发者并不存在

根本就没有所谓的React开发者 — 永远不要这样称呼自己。 这是许多软件开发者犯的一个巨大错误，浪费了你大量时间。 专注于工具而非概念。忽视了大局。 React只是一个JavaScript工具。JavaScript只是一个计算工具。计算只是一个解决问题的工具。 当我刚开始编码时&a…
阅读更多...
hugging face 使用教程———快速入门

hugging face 使用教程———快速入门

概述 本篇存在的意义是快速介绍hugging face使用，梳理主要部件，梳理易混淆概念。原因是：目前hugging face的使用，官方放在了3个地方（参考链接部分）：使用文档、NLP教程、Transformers git的readm…
阅读更多...
PDF转Word后不能修改怎么办？是什么原因呢?

PDF转Word后不能修改怎么办？是什么原因呢?

平时在生活中，很多朋友都会有将PDF转换成Word文档的需求，因为一般情况下PDF文件是不能直接编辑修改的，所以只能通过这种方式来解决问题。但是近期，有部分用户在后台反馈说PDF转Word后不能修改怎么办呢？其实这个问题也是…
阅读更多...
前端页面：用户交互持续时间跟踪（duration）user-interaction-tracker

前端页面：用户交互持续时间跟踪（duration）user-interaction-tracker

引言 在用户至上的时代，精准把握用户行为已成为产品优化的关键。本文将详细介绍 user-interaction-tracker 库，它提供了一种高效的解决方案，用于跟踪用户交互的持续时间，并提升项目埋点的效率。通过本文，你将了解到如…
阅读更多...
云仓如何改变传统仓储模式？

云仓如何改变传统仓储模式？

云仓，即云仓储，是一种基于互联网技术的现代仓储模式，与传统的仓储模式相比，它在多个方面进行了创新和优化，包括： ———————————————————— 1、数据管理与实时监控： 云仓储利…
阅读更多...
每日一题 LeetCode03 无重复字符的最长字串

每日一题 LeetCode03 无重复字符的最长字串

1.题目描述 给定一个字符串 s ，请你找出其中不含有重复字符的最长字串的长度。 2 思路 可以用两个指针, 滑动窗口的思想来做这道题,即定义两个指针.一个left和一个right 并且用一个set容器,一个length , 一个maxlength来记录, 让right往右走,并且用一个set容器来…
阅读更多...
【数据结构】链表(单链表实现 + 详解 + 原码)

【数据结构】链表(单链表实现 + 详解 + 原码)

🎇🎉🎉🎉点进来你就是我的人了 博主主页：🙈🙈🙈戳一戳，欢迎大佬指点！ 人生格言: 当你的才华撑不起你的野心的时候,你就应该静下心来学习! 欢迎志同道合的朋友…
阅读更多...
Spring Boot配置文件的语法规则

Spring Boot配置文件的语法规则

主要介绍两种配置文件的语法和格式，properties和yml 目录 1.配置文件的作用 2.创建配置文件 3.properties语法 4.yml语法 5.配置文件格式 1.配置文件的作用 对于配置文件，也有独立的文件夹去存放，主要用来存放一些需要经过变动的数据&a…
阅读更多...
IEDA怎么把springboot项目 启动多个

IEDA怎么把springboot项目 启动多个

利用Idea提供的Edit Configurations配置应用参数。 点击Modify Options进行添加应用参数： 确保这里勾选
阅读更多...
如何避免蓝屏？轻量部署，安全和业务连续性才能两不误

如何避免蓝屏？轻量部署，安全和业务连续性才能两不误

自19日起，因CrowdStrike软件更新的错误配置而导致的“微软全球蓝屏”，影响依然在持续。这场被称为“史上最大规模的IT故障”，由于所涉全球企业太多，专家估计“蓝屏”电脑全部恢复正常仍需时日。 尽管 CEO 乔治 库尔茨&#xff08…
阅读更多...
最新文章

Copyright @ 2022~2023