maxwell 输出消息到 kafka

文章目录

  • 1、kafka-producer
  • 2、运行一个Docker容器，该容器内运行的是Zendesk的Maxwell工具，一个用于实时捕获MySQL数据库变更并将其发布到Kafka或其他消息系统的应用
  • 3、进入kafka容器内部
  • 4、tingshu_album 数据库中 新增数据
  • 5、tingshu_album 数据库中 更新数据
  • 6、tingshu_album 数据库中 删除数据
  • 7、总结

1、kafka-producer

kafka-producer：https://maxwells-daemon.io/config/#kafka-producer
在这里插入图片描述

2、运行一个Docker容器，该容器内运行的是Zendesk的Maxwell工具，一个用于实时捕获MySQL数据库变更并将其发布到Kafka或其他消息系统的应用

在这里插入图片描述

docker run -it --rm zendesk/maxwell bin/maxwell \--user=maxwell \--password=maxwell \--host=192.168.74.148 \--port=3306 \--producer=kafka \--kafka.bootstrap.servers=192.168.74.148:9092 \--kafka_topic=maxwell

[root@localhost ~]# docker ps
CONTAINER ID   IMAGE                    COMMAND                   CREATED        STATUS         PORTS                                                                                  NAMES
89bb2276fc3d   elasticsearch:8.8.2      "/bin/tini -- /usr/l…"   3 weeks ago    Up 5 days      0.0.0.0:9200->9200/tcp, :::9200->9200/tcp, 0.0.0.0:9300->9300/tcp, :::9300->9300/tcp   elasticsearch
34891ac3e05a   wurstmeister/kafka       "start-kafka.sh"          4 weeks ago    Up 3 minutes   0.0.0.0:9092->9092/tcp, :::9092->9092/tcp                                              kafka
8c71efe9dca7   wurstmeister/zookeeper   "/bin/sh -c '/usr/sb…"   4 weeks ago    Up 5 days      22/tcp, 2888/tcp, 3888/tcp, 0.0.0.0:2181->2181/tcp, :::2181->2181/tcp                  zookeeper
c14772057ab8   redis                    "docker-entrypoint.s…"   8 months ago   Up 5 days      0.0.0.0:6379->6379/tcp, :::6379->6379/tcp                                              spzx-redis
ab66508d9441   mysql:8                  "docker-entrypoint.s…"   8 months ago   Up 2 hours     0.0.0.0:3306->3306/tcp, :::3306->3306/tcp, 33060/tcp                                   spzx-mysql
[root@localhost ~]# docker run -it --rm zendesk/maxwell bin/maxwell \
>     --user=maxwell \
>     --password=maxwell \
>     --host=192.168.74.148 \
>     --port=3306 \
>     --producer=kafka \
>     --kafka.bootstrap.servers=192.168.74.148:9092 \
>     --kafka_topic=maxwell
2024-09-19 11:00:53 INFO  Maxwell - Starting Maxwell. maxMemory: 1031798784 bufferMemoryUsage: 0.25
2024-09-19 11:00:54 INFO  ProducerConfig - ProducerConfig values: acks = 1batch.size = 16384bootstrap.servers = [192.168.74.148:9092]buffer.memory = 33554432client.dns.lookup = use_all_dns_ipsclient.id = producer-1compression.type = noneconnections.max.idle.ms = 540000delivery.timeout.ms = 120000enable.idempotence = falseinterceptor.classes = []internal.auto.downgrade.txn.commit = falsekey.serializer = class org.apache.kafka.common.serialization.StringSerializerlinger.ms = 0max.block.ms = 60000max.in.flight.requests.per.connection = 5max.request.size = 1048576metadata.max.age.ms = 300000metadata.max.idle.ms = 300000metric.reporters = []metrics.num.samples = 2metrics.recording.level = INFOmetrics.sample.window.ms = 30000partitioner.class = class org.apache.kafka.clients.producer.internals.DefaultPartitionerreceive.buffer.bytes = 32768reconnect.backoff.max.ms = 1000reconnect.backoff.ms = 50request.timeout.ms = 30000retries = 2147483647retry.backoff.ms = 100sasl.client.callback.handler.class = nullsasl.jaas.config = nullsasl.kerberos.kinit.cmd = /usr/bin/kinitsasl.kerberos.min.time.before.relogin = 60000sasl.kerberos.service.name = nullsasl.kerberos.ticket.renew.jitter = 0.05sasl.kerberos.ticket.renew.window.factor = 0.8sasl.login.callback.handler.class = nullsasl.login.class = nullsasl.login.refresh.buffer.seconds = 300sasl.login.refresh.min.period.seconds = 60sasl.login.refresh.window.factor = 0.8sasl.login.refresh.window.jitter = 0.05sasl.mechanism = GSSAPIsecurity.protocol = PLAINTEXTsecurity.providers = nullsend.buffer.bytes = 131072socket.connection.setup.timeout.max.ms = 127000socket.connection.setup.timeout.ms = 10000ssl.cipher.suites = nullssl.enabled.protocols = [TLSv1.2, TLSv1.3]ssl.endpoint.identification.algorithm = httpsssl.engine.factory.class = nullssl.key.password = nullssl.keymanager.algorithm = SunX509ssl.keystore.certificate.chain = nullssl.keystore.key = nullssl.keystore.location = nullssl.keystore.password = nullssl.keystore.type = JKSssl.protocol = TLSv1.3ssl.provider = nullssl.secure.random.implementation = nullssl.trustmanager.algorithm = PKIXssl.truststore.certificates = nullssl.truststore.location = nullssl.truststore.password = nullssl.truststore.type = JKStransaction.timeout.ms = 60000transactional.id = nullvalue.serializer = class org.apache.kafka.common.serialization.StringSerializer2024-09-19 11:00:54 INFO  AppInfoParser - Kafka version: 2.7.0
2024-09-19 11:00:54 INFO  AppInfoParser - Kafka commitId: 448719dc99a19793
2024-09-19 11:00:54 INFO  AppInfoParser - Kafka startTimeMs: 1726743654433
2024-09-19 11:00:54 INFO  Maxwell - Maxwell v1.41.2 is booting (MaxwellKafkaProducer), starting at Position[BinlogPosition[spzxbinlog.000003:7129], lastHeartbeat=0]
2024-09-19 11:00:54 INFO  MysqlSavedSchema - Restoring schema id 1 (last modified at Position[BinlogPosition[spzxbinlog.000003:156], lastHeartbeat=0])
2024-09-19 11:00:55 INFO  BinlogConnectorReplicator - Setting initial binlog pos to: spzxbinlog.000003:7129
2024-09-19 11:00:55 INFO  BinaryLogClient - Connected to 192.168.74.148:3306 at spzxbinlog.000003/7129 (sid:6379, cid:60)
2024-09-19 11:00:55 INFO  BinlogConnectorReplicator - Binlog connected.
2024-09-19 11:00:55 INFO  Metadata - [Producer clientId=producer-1] Cluster ID: 9o7eoaK4T1KnGZkMvElpkg

3、进入kafka容器内部

[root@localhost ~]# docker exec -it kafka /bin/bash 
bash-5.1# kafka-console-consumer.sh --bootstrap-server 192.168.74.148:9092 --topic maxwell

4、tingshu_album 数据库中 新增数据

在这里插入图片描述

[root@localhost ~]# docker exec -it kafka /bin/bash
bash-5.1# kafka-console-consumer.sh --bootstrap-server 192.168.74.148:9092 --topic maxwell
{"database":"tingshu_album","table":"base_category1","type":"insert","ts":1726743970,"xid":10619,"commit":true,"data":{"id":17,"name":"kafka","order_num":0,"create_time":"2024-09-19 11:06:10","update_time":"2024-09-19 11:06:10","is_deleted":0}}

{"database": "tingshu_album","table": "base_category1","type": "insert","ts": 1726743970,"xid": 10619,"commit": true,"data": {"id": 17,"name": "kafka","order_num": 0,"create_time": "2024-09-19 11:06:10","update_time": "2024-09-19 11:06:10","is_deleted": 0}
}

5、tingshu_album 数据库中 更新数据

在这里插入图片描述

[root@localhost ~]# docker exec -it kafka /bin/bash
bash-5.1# kafka-console-consumer.sh --bootstrap-server 192.168.74.148:9092 --topic maxwell
{"database":"tingshu_album","table":"base_category1","type":"insert","ts":1726743970,"xid":10619,"commit":true,"data":{"id":17,"name":"kafka","order_num":0,"create_time":"2024-09-19 11:06:10","update_time":"2024-09-19 11:06:10","is_deleted":0}}
{"database":"tingshu_album","table":"base_category1","type":"update","ts":1726744191,"xid":11128,"commit":true,"data":{"id":17,"name":"xxx","order_num":0,"create_time":"2024-09-19 11:06:10","update_time":"2024-09-19 11:09:51","is_deleted":0},"old":{"name":"kafka","update_time":"2024-09-19 11:06:10"}}

{"database": "tingshu_album","table": "base_category1","type": "update","ts": 1726744191,"xid": 11128,"commit": true,"data": {"id": 17,"name": "xxx","order_num": 0,"create_time": "2024-09-19 11:06:10","update_time": "2024-09-19 11:09:51","is_deleted": 0},"old": {"name": "kafka","update_time": "2024-09-19 11:06:10"}
}

6、tingshu_album 数据库中 删除数据

在这里插入图片描述

[root@localhost ~]# docker exec -it kafka /bin/bash
bash-5.1# kafka-console-consumer.sh --bootstrap-server 192.168.74.148:9092 --topic maxwell
{"database":"tingshu_album","table":"base_category1","type":"insert","ts":1726743970,"xid":10619,"commit":true,"data":{"id":17,"name":"kafka","order_num":0,"create_time":"2024-09-19 11:06:10","update_time":"2024-09-19 11:06:10","is_deleted":0}}
{"database":"tingshu_album","table":"base_category1","type":"update","ts":1726744191,"xid":11128,"commit":true,"data":{"id":17,"name":"xxx","order_num":0,"create_time":"2024-09-19 11:06:10","update_time":"2024-09-19 11:09:51","is_deleted":0},"old":{"name":"kafka","update_time":"2024-09-19 11:06:10"}}
{"database":"tingshu_album","table":"base_category1","type":"delete","ts":1726744396,"xid":11623,"commit":true,"data":{"id":17,"name":"xxx","order_num":0,"create_time":"2024-09-19 11:06:10","update_time":"2024-09-19 11:09:51","is_deleted":0}}

{"database": "tingshu_album","table": "base_category1","type": "delete","ts": 1726744396,"xid": 11623,"commit": true,"data": {"id": 17,"name": "xxx","order_num": 0,"create_time": "2024-09-19 11:06:10","update_time": "2024-09-19 11:09:51","is_deleted": 0}
}

7、总结

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/1539280.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

[Unity Demo]从零开始制作空洞骑士Hollow Knight第四集:制作更多的敌人

[Unity Demo]从零开始制作空洞骑士Hollow Knight第四集:制作更多的敌人

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、制作敌人僵尸虫Zombie 1.公式化导入制作僵尸虫Zombie素材2.制作僵尸虫Zombie的Walker.cs状态机3.制作敌人僵尸虫的playmaker状态机二、制作敌人爬虫Climber…
阅读更多...
Gradio 自定义组件

Gradio 自定义组件

如何使用 Gradio 自定义组件，Gradio 前端使用 Svelte，后端使用的 Python。如何自定义一个组件呢？Gadio 提供了类似于脚手架的命令，可以生成需要开发组件的前后和后端代码。 创建组件 运行如下命令，gradio 会自动生成…
阅读更多...
鹏鼎控股社招校招入职SHL综合能力测评：高分攻略及真题题库解析答疑

鹏鼎控股社招校招入职SHL综合能力测评：高分攻略及真题题库解析答疑

鹏鼎控股（深圳）股份有限公司，成立于1999年4月29日，是一家专注于印制电路板（PCB）的设计、研发、制造与销售的高新技术企业。公司总部位于中国广东省深圳市，并在全球多个地区设有生产基地和服务中…
阅读更多...
FinGPT金融大模型

FinGPT金融大模型

FinGPT仓库https://github.com/AI4Finance-Foundation/FinGPT 功能： Adviser。根据新闻判断市场情绪（积极、消极、中性），给出投资建议。Quantitative Trading。定制属于自己的金融助手。叫它关注某几个股票、监测消息等。可以直…
阅读更多...
计算机网络33——文件系统

计算机网络33——文件系统

1、chmod 2、chown 需要有root权限 3、link 链接 4、unlink 创建临时文件，用于非正常退出 5、vi vi可以打开文件夹 ../是向外一个文件夹 6、ls ls 可以加很多路径，路径可以是文件夹，也可以是文件 ---------------------------------…
阅读更多...
5.C_数据结构_树

5.C_数据结构_树

概述 树的逻辑结构： 树中任何节点都可以有0个或多个直接后继节点，但最多只有一个直接前驱节点。根节点没有直接前驱节点，叶节点没有直接后继节点。 相关名词： 空树：树中没有节点节点的度数：一个节点的…
阅读更多...
【纯小白论文代码带读】医学图像分割MASDF-Net（问题产生及解决）

【纯小白论文代码带读】医学图像分割MASDF-Net（问题产生及解决）

论文链接：https://www.semanticscholar.org/paper/MASDF-Net%3A-A-Multi-Attention-Codec-Network-with-and-Fu-Deng/6ab609eb93dfd12596032174ca9603712f5c050a 代码链接：https://github.com/Rayicer/TransFuse 初见面代码： Q&am…
阅读更多...
【字符函数】strcpy函数（字符串复制函数）+strcat函数（字符串追加）+strcmp函数（字符串比较）【笔记】

【字符函数】strcpy函数（字符串复制函数）+strcat函数（字符串追加）+strcmp函数（字符串比较）【笔记】

1.复制函数--------------strcpy函数 函数使用 char*strcpy（char* destination, const char* source） strcpy函数用于拷贝字符串，即将一个字符串中的内容拷贝到另一个字符串中（会覆盖原字符串内容）。它的参数是两个指…
阅读更多...
大数据新视界 --大数据大厂之Kubernetes与大数据：容器化部署的最佳实践

大数据新视界 --大数据大厂之Kubernetes与大数据：容器化部署的最佳实践

💖💖💖亲爱的朋友们，热烈欢迎你们来到 青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的…
阅读更多...
Java键盘输入语句

Java键盘输入语句

编程输入语句 1.介绍:在编程中，需要接受用户输入的数据，就可以使用键盘输入语句来获取。 2.步骤： 1）导入该类的所在包，java.util.* 2)创建该类对象（声明变量） 3）调用里面的功能 3…
阅读更多...
面试官：什么是CAS？存在什么问题？

面试官：什么是CAS？存在什么问题？

大家好，我是大明哥，一个专注「死磕 Java」系列创作的硬核程序员。 回答 CAS，Compare And Swap，即比较并交换，它一种无锁编程技术的核心机制。其工作方式分为两步： 比较：它首先会比较内存中的某…
阅读更多...
C++的初阶模板和STL

C++的初阶模板和STL

C的初阶模板和STL 回顾之前的内存管理，我们还要补充一个概念：内存池 也就是定位new会用到的场景，内存池只会去开辟空间。 申请内存也就是去找堆，一个程序中会有很多地方要去找堆，这样子效率会很低下，为了…
阅读更多...
vue之我不会 计算属性 vuex 路由 插槽

vue之我不会 计算属性 vuex 路由 插槽

一、计算属性 例子&#xff1a; 注意&#xff1a;调用计算属性时&#xff0c;不可以带括号&#xff0c;那样调用的就是方法&#xff0c;如&#xff1a;以下调用fullName时不可funnName() <div id"root">姓&#xff1a;<input type"text" v-model&…
阅读更多...
化妆风格识别系统源码分享

化妆风格识别系统源码分享

化妆风格识别检测系统源码分享 [一条龙教学YOLOV8标注好的数据集一键训练_70全套改进创新点发刊_Web前端展示] 1.研究背景与意义 项目参考AAAI Association for the Advancement of Artificial Intelligence 项目来源AACV Association for the Advancement of Computer Vis…
阅读更多...
[2025]基于微信小程序慢性呼吸系统疾病的健康管理(源码+文档+解答）

[2025]基于微信小程序慢性呼吸系统疾病的健康管理(源码+文档+解答）

博主介绍&#xff1a; ✌我是阿龙&#xff0c;一名专注于Java技术领域的程序员&#xff0c;全网拥有10W粉丝。作为CSDN特邀作者、博客专家、新星计划导师&#xff0c;我在计算机毕业设计开发方面积累了丰富的经验。同时&#xff0c;我也是掘金、华为云、阿里云、InfoQ等平台…
阅读更多...
新手学习python第九天——加速学习

新手学习python第九天——加速学习

大家周末好&#xff0c;今天是周六北京时间07&#xff1a;50达到实验室&#xff0c;刚刚复习完昨天的内容&#xff0c;今天感冒有所好转&#xff0c;下午课题组有聚餐还是开心的&#xff0c;但今天的学习内容也不要落下。 ————08&#xff1a;24————开始学习———— 1…
阅读更多...
SpringCloud微服务实现服务降级的最佳实践

SpringCloud微服务实现服务降级的最佳实践

Spring Cloud是一种用于快速构建分布式系统的框架&#xff0c;它提供了许多有用的功能&#xff0c;其中包括服务降级。 服务降级是一种保护机制&#xff0c;它可以在面临高并发或故障时保持服务的稳定性。当系统资源不足或服务出现故障时&#xff0c;服务降级可以通过关闭一些功…
阅读更多...
为什么AI在广告投放上受追捧，创意上却饱受非议

为什么AI在广告投放上受追捧，创意上却饱受非议

AI代表着人类科技的未来&#xff0c;这已经是营销圈的共识&#xff0c;从网络上各个机构的解读来看&#xff0c;AI的奇点似乎正在临近。 AI人工智能对人类社会的震撼有两次标志性的事件&#xff1a;一次是AlphaGo战胜李世石&#xff0c; 我相信大多数人了解人工智能的开始&…
阅读更多...
为什么是华为最先做出三折叠？这些黑科技硬核门槛缺一不可

为什么是华为最先做出三折叠？这些黑科技硬核门槛缺一不可

一款起售价19999的手机&#xff0c;预约人数竟达到了600万&#xff0c;全球首款三折叠手机Mate XT到底有什么魔力&#xff0c;可以做到还未上市就引爆市场&#xff1f;看完这篇文章&#xff0c;你就知道何谓“科技新物种”。 9月7日12:08&#xff0c;华为Mate XT非凡大师开启预…
阅读更多...
技术贴：电脑端企业微信双开教程！

技术贴：电脑端企业微信双开教程！

软件双开的实现&#xff0c;很多小伙伴用的都是修改注册表的方式&#xff0c;这里我再介绍一个办法&#xff1a; 电脑桌面先新建一个 txt 文档&#xff0c;将下方命令全部复制&#xff0c;粘贴在 txt 文件中。 reg add HKEY_CURRENT_USER\Software\Tencent\WXWork /v multi_i…
阅读更多...
最新文章

Copyright @ 2022~2023