【Linux】:Kafka基础命令

目录

环境简介:

一、操作主题命令

  1.1.创建主题

  1.2.指定主题的分区数、副本数创建主题

  1.3.查看kafka中的主题列表信息

  1.4.查看kafka找那个特定主题的详细信息

  1.5.修改主题的分区数(只能从小往大改)

  1.6.删除主题

二、操作消息命令

  2.1.生产者向指定主题发送消息

  2.2.消费者监听指定消息(消费者每次启动都从主题中最开始的消息开始监听)

  2.3.消费者监听指定主题的消息(消费者每次启动都从最新的消息开始监听)

三、消费者组操作命令

  3.1.创建一下消费者监听消息,并将该消费者放在名为testgroup消费者组下

  3.2.查看消费者组列表

  3.3.查看消费者组的详细信息


环境简介

   Linux内核:Centos7

   Kafka版本:3.5.1

   执行命令的目录位置:Kafka安装目录的bin目录下:/usr/local/kafka/bin/

一、操作主题命令

  1.1.创建主题

./kafka-topics.sh --bootstrap-server localhost:9092  --create  --topic mytesttopic

  1.2.指定主题的分区数、副本数创建主题

./kafka-topics.sh --bootstrap-server localhost:9092  --create   --replication-factor 1 --partitions 1 --topic mytesttopic

  1.3.查看kafka中的主题列表信息

./kafka-topics.sh --bootstrap-server localhost:9092 --list

  1.4.查看kafka找那个特定主题的详细信息

./kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic mytesttopic 

  1.5.修改主题的分区数(只能从小往大改)

./kafka-topics.sh --bootstrap-server localhost:9092 --alter --topic mytesttopic --partitions 2

  1.6.删除主题

./kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic mytesttopic

二、操作消息命令

  2.1.生产者向指定主题发送消息

./kafka-console-producer.sh broker-list --bootstrap-server localhost:9092  --topic mytesttopic 
## 下面为提示的消息输入框
>send message 1
>send message 2

  2.2.消费者监听指定消息(消费者每次启动都从主题中最开始的消息开始监听)

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic mytesttopic --from-beginning

  2.3.消费者监听指定主题的消息(消费者每次启动都从最新的消息开始监听)

        注意:该监听方式,如果消费者想监听到消息,那么需要在消费者监听成功后,再使用命令让生产者发送消息

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testtopic0914

三、消费者组操作命令

  3.1.创建一下消费者监听消息,并将该消费者放在名为testgroup消费者组下

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testgroup --topic testtopic0914

  3.2.查看消费者组列表

./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

  3.3.查看消费者组的详细信息

./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group testgroup

    消费者组中的各项列表含义如下:

      GROUP:消费者组名称
      TOPIC:消费者组监听的消息
      PARTITON:使用的是第几个分区
      CURRENT-OFFSET:当前消息的偏移量
      LOG-END-OFFSET:消费的偏移量
      LAG:还有多少消费没有被消费,即积压的消息数

思考:为什么有消费者,还有消费者组。

生产者发送一条消息,只能被同一个消费者组下的一个消费者消费,换句话说,同一个消费者组下,只能有一个消费者能监听到同一个topic里的消息。

     同一个消费者组下的消费者们,监听同一个topic时,topic中的消息只能被其中一个消费者监听到。
     专一性:
        如果消息一开始被消费者组中的某个消费者监听到,那么在该消费者的正常存活期间,消息将会一直被该消费者监听到(不是轮询问题)
     容错性:
        如果一直能监听到topic中消息的消费者挂掉了,那么当前消费者组中,其他监听同topic的消费者会继续监听到topic中的后续消息

生产者发送一条消息,可以被多个消费者组监听到,但是每个消费者组中,只能有一个消费者能监听到

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/143168.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

分布式并行训练(DP、DDP、DeepSpeed)

[pytorch distributed] 01 nn.DataParallel 数据并行初步 数据并行 vs. 模型并行 数据并行:模型拷贝(per device),数据 split/chunk(对batch切分) 每个device上都拷贝一份完整模型,每个device分…

Mysql高级语句(视图表 、存储过程、条件语句、循环语句)

Mysql高级语句(视图表 、存储过程、条件语句、循环语句) 一、 CREATE VIEW(视图)1.1、 视图表概述1.2、 视图表能否修改?(面试题)1.3、 基本语法1.3.1、 创建1.3.2、 查看1.3.3 、删除 1.4、 通…

喜报 |海云安斩获鲲鹏应用创新大赛2023广东赛区双料大奖!

近日,由深圳市工业和信息化局、深圳市南山区人民政府、深圳市南山区工业和信息化局指导,华为技术有限公司、深圳市金融攻关基地、广东省信息技术应用创新产业联盟、鲲鹏产业源头创新中心(深圳)有限公司主办,深圳市软件…

MySQL查询表结构方法

MySQL查询数据库单个表结构代码 – 查询数据库表信息 SELECT​ COLUMN_NAME 列名,​ DATA_TYPE 字段类型,​ CHARACTER_MAXIMUM_LENGTH 长度,​ IS_NULLABLE 是否为空,​ IF(column_key PRI,Y,) 是否为主键,​ COLUMN_DEFAULT 默认值,​ COLUMN_COMMENT 备注FROM​ INFORMAT…

数据分发服务(DDS, Data Distribution Service)简介

什么是DDS ? 工业物联网成熟的数据连接标准 OMG 数据分发服务 (DDS™) 是一个中间件协议和 API 标准,用于来自 Object Management Group (OMG) 的以数据为中心的连接。它将系统的组件集成在一起,提供业务和关键任务物联网 (IoT) 应用程序所…

华为杯数学建模比赛经验分享

再过一周左右,第二十届华为杯数学建模比赛就要开赛了,所以今天分享一下个人数学建模比赛的经验。 今天给大家分享一期关于华为杯数学建模比赛的经验分享,我将从以下三个方面展开说明: (1)如何准备数学建模比赛&#x…

开辟ICT新视野 直通华为云专家:一堂华为云Astro低代码启蒙课 ——华为云HCSD校园沙龙之西安站

在快速发展的信息时代,ICT(即:信息和通信技术)行业成为众多高校应届生进军的最新领域。但刚步入大学校园的学生,仍困扰于「我应该如何抓住这一趋势?怎样规划职业生涯才切实可行?」。 在飘溢激动…

vue+element plus 使用table组件,清空用户的选择项

<el-table ref"tableRef"> .... </el-table> <script lang"ts" setup> import { onMounted, reactive, ref, nextTick } from vue const clearBtn () > {console.log(清空用户的选择项)tableRef.value.clearSelection() } </scr…

八大排序详解

目录 1.排序的概念及应用 1.1 排序的概念 1.2 排序的应用 1.3 常见的排序算法 2.常见排序算法的实现 2.1 直接插入排序 2.1.1 基本思想 2.1.2 动图解析 2.1.3 排序步骤&#xff08;默认升序&#xff09; 2.1.4 代码实现 2.1.5 特性总结 2.2 希尔排序 2.2.1 基本思…

数据结构与算法基础-(3)

&#x1f308;write in front&#x1f308; &#x1f9f8;大家好&#xff0c;我是Aileen&#x1f9f8;.希望你看完之后&#xff0c;能对你有所帮助&#xff0c;不足请指正&#xff01;共同学习交流. &#x1f194;本文由Aileen_0v0&#x1f9f8; 原创 CSDN首发&#x1f412; 如…

Java 多线程基础

文章目录 1. 认识线程1.1 概念1.1.1 线程是什么1.1.2 为什么要有线程1.1.3 进程和线程的区别1.1.4 Java的线程和操作系统线程的关系 1.2 第一个多线程程序1.3 创建线程1.4 多线程的优势 2. Thread 类及其常用的方法2.1 Thread 的常见构造方法2.2 Thread 的几个常见属性2.3 启动…

EasyExcel导出转换@ExcelProperty注解中converter不生效,以及EasyExcel导入日期转换失败问题

用EasyExcel做导出&#xff0c;需要用ExcelProperty做格式转换&#xff0c;比如日期转换&#xff0c;枚举类转换 然后新建一个转换类 里面有两个实现方法&#xff0c;converToJavaData是导入时&#xff0c;数据转换定义格式&#xff0c;converToExcelData是导出时做数据转换的。…

一款强大的ntfs磁盘读写工具Paragon NTFS 15破解版百度网盘下载

今天再给大家分享一款NTFS工具Paragon NTFS 15&#xff0c;Paragon NTFS 15破解版是目前的最新版&#xff0c;需要的赶快收藏&#xff0c;地址失效可以留言。 Paragon Ntfs For Mac 15下载&#xff1a;https://souurl.cn/s84CCB Crcak链接: https://pan.baidu.com/s/1c2Hx7QBE…

idea环境下如何打包可运行jar?

工作中有时候偶尔写一些工具类、小程序&#xff0c;可是java程序员制作一个可运行jar实在折腾&#xff0c;利用idea开发环境&#xff0c;可以快速打包自己的可运行jar。具体怎么操作呢&#xff1f; 创建一个空白的java项目并完成自己的程序开发 完成java代码&#xff1a; /**…

SpringMVC 学习(四)RestFul 风格

5. RestFul 风格 5.1 简介 概念 Restful就是一个资源定位及资源操作的风格。不是标准也不是协议&#xff0c;只是一种风格。基于这个风格设计的软件可以更简洁&#xff0c;更有层次&#xff0c;更易于实现缓存等机制。 功能 资源&#xff1a;互联网所有的事物都可以被抽象为…

华为手机如何开启设置健康使用手机模式限制孩子玩手机时间?

华为手机如何开启设置健康使用手机模式限制孩子玩手机时间&#xff1f; 1、在手机上找到「设置」并点击打开&#xff1b; 2、在设置内找到「健康使用手机」并点击进入&#xff1b; 3、开启健康使用手机后&#xff0c;选择孩子使用&#xff1b; 4、在健康使用手机内&#xff0c…

【Java接口性能优化】skywalking使用

skywalking使用 提示&#xff1a;微服务中-skywalking使用 文章目录 skywalking使用一、进入skywalking主页二、进入具体服务1.查看接口 一、进入skywalking主页 二、进入具体服务 可以点击列表或搜索后&#xff0c;点击进入具体服务 依次选择日期、小时、分钟 1.查看接口 依次…

系统集成|第十二章(笔记)

目录 第十二章 沟通管理12.1 沟通的基本概念12.2 主要过程12.2.1 规划沟通管理12.2.2 管理沟通12.2.3 控制沟通 12.3 常见问题 上篇&#xff1a;第十一章、项目人力资源管理 下篇&#xff1a;第十三章、干系人管理 第十二章 沟通管理 沟通管理在项目计划、执行、监控过程中具有…

word中使用latex多行公式,矩阵公式

\eqarray{H& [h(x_1)^T,\cdots,h(x_N)^T]^T \\ & [\matrix{g(w_1 x_1b_1) & \cdots & g(w_L x_1b_L) \\ \vdots & \ddots & \vdots \\ g(w_1 x_Nb_1) & \cdots & g(w_L x_Nb_L)}]_{N \times L}}&的引起的那条竖线可以通过backspace或者del…

在 Substance Painter中实现Unity Standard Shader

由于有需要在Substance Painter中显示什么样的效果&#xff0c;在Unity就要显示什么样的效果的需求&#xff0c;最近研究了几天&#xff0c;总算在Substance Painter中实现Unity standard的材质的渲染效果。具体效果如下&#xff1a; 在Unity中&#xff1a; Substance Painte…