springboot第82集:消息队列kafka,kafka-map

官网下载链接:https://kafka.[apache].org/downloads

我下载的是[Scala]2.12 - kafka_2.12-3.1.0.tgz

kafka只需要解压下载的压缩包就行了,我这里解压的路径是D:\kafka_2.12-3.1.0,kafka的运行需要依赖zookeeper,当前版本已经内置了zookeeper,所以不需要再安装zookeeper。

kafka配置

kafka 服务端配置在server.properties中。

kafka

  • kafka 服务端配置在server.properties中。

  • kafka配置需要修改两处配置文件:listeners 和 log.dirs

  • listeners=PLAINTEXT://localhost:9092

  • log.dirs=D:/kafka_2.12-3.1.0/logs

  • zookeeper配置

  • zookeeper配置文件为zookeeper.properties,只需修改一处,

  • dataDir:zookeeper存储数据的路径

  • dataDir=D:/kafka_2.12-3.1.0/data

  • 先启动zookeeper,启动命令如下:

  • .\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties

  • 启动kafka-server

  • .\bin\windows\kafka-server-start.bat .\config\server.properties

  • 如果启动kafka失败,并出现以下异常,删除logs文件夹下的meta.properties文件即可。

  • 启动kafka-topics

  • 创建一个名为test的topic

  • .\bin\windows\kafka-topics.bat --create --bootstrap-server  localhost:2181 --replication-factor 1 --partitions 1 --topic test

  • 启动生产者

  • 命令如下:

  • .\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

  • 启动消费者

  • 命令如下:

  • .\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test

启动Kafka服务

注意:您的本地环境必须[安装Java 8]。

  • 配置Zookeeper环境变量

  • 配置ZOOKEEPER_HOME:

  • 在系统环境变量Path中,增加“%ZOOKEEPER_HOME%\bin”

  • 按: windows+r, 输入cmd, 打开dos窗口,输入命令:

  • zkServer

  • 编辑broker.id=1。 配置broker.id必须是一个整数,且不可以和其他的kafak代理节点的值重复,即每个kafka节点为一个broker,拥有唯一的id值

集群配置:

  • 新生成几个配置文件config/server1.properties、config/server2.properties。

  • 然后修改里面的配置文件broker.id、 log.dir、  listeners分别指定不同的broker、日志文件位置监听端口。

    config/server1.properties:broker.id=1listeners=PLAINTEXT://:8083log.dir= E:/tool/kafka/kafka2.12/kafkaLogs1config/server2.properties:broker.id=2listeners=PLAINTEXT://:8085log.dir= E:/tool/kafka/kafka2.12/kafkaLogs2

启动Kafka

.\bin\windows\kafka-server-start.bat  .\config\server.properties

创建主题

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic yantopic

查看现有的主题

.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

启动生产者,可以发送消息:

打开dos窗口,输入命令:

.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

接收消息

窗口不要关闭,同上新打开一个shell窗口,输入命令:

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

如果您的 Nacos 本地启动没有设置账号密码,那么在 Java 客户端连接时也不需要指定账号和密码。您可以直接使用不带认证信息的配置连接到 Nacos 服务。

不过,如果在 Nacos 服务器中开启了身份认证(默认账户为 nacos/nacos),那就需要在 Java 客户端代码中配置用户名和密码。例如,在 NacosConfigProperties 或者客户端配置中添加账号信息。

在不需要账号密码的情况下,Java 客户端连接代码可以保持简单,例如:

Properties properties = new Properties();
properties.put("serverAddr", "localhost:8848");  // 连接到本地的 Nacos
ConfigService configService = NacosFactory.createConfigService(properties);

kafka map是使用Java11React开发的一款kafka可视化工具。

目前支持的功能有:

  • 多集群管理

  • 集群状态监控(分区数量、副本数量、存储大小、offset)

  • 主题创建、删除、扩容(删除需配置delete.topic.enable = true)

  • broker状态监控

  • 消费者组查看、删除

  • 重置offset

  • 消息查询(支持String和json方式展示)

  • 发送消息(支持向指定的topic和partition发送字符串消息)

    • 打开 系统属性 > 高级系统设置 > 环境变量

    • 找到或新建 JAVA_HOME 变量,设置为 JDK 11 的安装路径。

    • 确保系统的 JAVA_HOME 环境变量指向新安装的 Java 11 或更高版本的 JDK 目录。例如,如果你安装了 Java 11,路径可能是 C:\Program Files\Java\jdk-11.

    • 在 Windows 中,你可以通过以下步骤设置环境变量:

  • 更新 PATH 变量

    • %JAVA_HOME%\bin 添加到 PATH 环境变量的开头,以确保命令行和程序优先使用 Java 11 的运行环境。

  • Nacos 配置文件中缺少对应的属性application-prod.yml 或其他共享配置文件中没有定义 sys.datasource.url

  • Nacos 连接不成功:如果 Nacos 连接不成功,Spring Boot 将无法加载远程配置文件。

要在 Windows 上启动 Kafka Manager(即 Kafka Map)并确保使用指定的 JDK 版本(如 JDK 11),你可以通过以下步骤实现。

1. 设置 JDK 11 路径并切换到 Kafka Manager 目录

首先,确保 JDK 11 已安装并记下其安装目录路径(例如:C:\Program Files\Java\jdk-11)。

2. 启动 Kafka Manager 并指定 JDK 版本

  1. 打开命令提示符

  • Win + R,输入 cmd 并回车。

设置 JAVA_HOME: 设置 JAVA_HOME 环境变量以指向 JDK 11 路径。

  • set JAVA_HOME=C:\Program Files\Java\jdk-11
  • 添加 JDK 11 的 bin 目录到 PATH: 将 JAVA_HOME\bin 添加到当前命令行会话的 PATH 环境变量中,这样你就可以确保使用 JDK 11 启动 Kafka Manager。

    set PATH=%JAVA_HOME%\bin;%PATH%
  • 切换到 Kafka Manager 安装目录: 进入 Kafka Manager 的安装目录,例如 D:\kafka-manager

    cd D:\kafka-manager
  • 启动 Kafka Manager: 运行以下命令来启动 Kafka Manager:

    .\bin\cmak -Dconfig.file=conf/application.conf -Dhttp.port=9000
    • -Dconfig.file=conf/application.conf:指定配置文件路径。

    • -Dhttp.port=9000:指定 HTTP 端口(可以根据需要更改端口)。


自动安装必备工具。注意,这也将安装Chocolatey。安装完成后,脚本将在一个新窗口中弹出

在 Windows 中:

如果你通过安装包安装了 Yarn,但仍然无法使用它,可以检查环境变量是否设置正确。

  1. 打开 系统属性高级系统设置环境变量

  2. 在系统变量中,找到 Path,点击 编辑

  3. 确保 Yarn 安装路径(通常在 C:\Program Files (x86)\Yarn\binC:\Users<YourName>\AppData\Local\Yarn\bin)已经添加到 Path 中。

  4. 保存并关闭所有窗口,重新启动命令提示符。

1. 原因分析

日志中的核心错误:
  1. 文件被占用

    java.nio.file.FileSystemException: ... 另一个程序正在使用此文件,进程无法访问。

    表示文件被其他程序占用,Kafka 无法完成操作。

  2. 日志目录失败

    ERROR Shutdown broker because all log dirs in D:\software\kafka\logs have failed

    表示 Kafka 的日志目录不可用,可能由于文件占用、权限问题或磁盘故障。

启动

  1. 启动cassandra,到下载目录下bin下,cmd,cassandra.bat

  2. 启动nacos,到下载目录下bin下,cmd,startup.cmd -m standalone

  3. D盘,启动elasticsearch的bin目录下,elasticsearch

  4. D盘,启动kibana,bin目录下,kibana.bat

  5. zookeeper,D 盘,kafka目录下

  6. .\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties

  7. .\bin\windows\kafka-server-start.bat .\config\server.properties

加群联系作者vx:xiaoda0423

仓库地址:https://github.com/webVueBlog/JavaGuideInterview

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/19284.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

Spring Boot汽车资讯:科技与速度的交响

3系统分析 3.1可行性分析 通过对本汽车资讯网站实行的目的初步调查和分析&#xff0c;提出可行性方案并对其一一进行论证。我们在这里主要从技术可行性、经济可行性、操作可行性等方面进行分析。 3.1.1技术可行性 本汽车资讯网站采用SSM框架&#xff0c;JAVA作为开发语言&#…

外卖跑腿小程序源码如何满足多样需求?

外卖跑腿平台已经成了当代年轻人的便捷之选&#xff0c;校园中也不例外&#xff0c;那么外卖、跑腿小程序就需要满足用户多样化的需求&#xff0c;而这背后的源码扮演者最重要的角色。 用户类型的多样性 1.对上班族而言&#xff0c;他们希望外卖小程序能够快速下单、准确配送…

GeeRPC第一天 服务端与消息编码(1)

RPC 1. 系统架构图解释&#xff08;Graph&#xff09; 架构层次 RPC框架核心功能&#xff1a;这是系统的最上层&#xff0c;涵盖了框架的主要功能模块&#xff0c;直接与底层服务和用户交互。 服务层&#xff1a;主要负责服务的注册、发现和治理。 服务注册&#xff1a;将服务…

如何在谷歌浏览器中开启离线模式

在数字化时代&#xff0c;互联网已经成为我们生活中不可或缺的一部分。然而&#xff0c;有时候我们可能会遇到没有网络连接的情况&#xff0c;这时谷歌浏览器的离线模式就显得尤为重要。本教程将详细介绍如何在谷歌浏览器中轻松开启离线模式&#xff0c;并附带一些相关教程指南…

【进阶系列】正则表达式 #匹配

正则表达式 正则表达式是一个特殊的字符序列&#xff0c;它能帮助你方便的检查一个字符串是否与某种模式匹配。re模块使 Python 语言拥有全部的正则表达式功能。 一个正则表达式的匹配工具&#xff1a;regex101: build, test, and debug regex s "C:\\a\\b\\c" pri…

C++使用Alglib数学库进行非线性最小二乘拟合

目录 一、前言 二、主要函数分析 2.1 lsfitcreatef 2.2 lsfitsetcond 2.3 lsfitfit 2.4 lsfitresults 三、基础代码实现 3.1 定义待拟合函数 3.2 数据拟合 四、可视化代码实现 4.1 拟合h文件 4.2 拟合cpp文件 4.2 代码实验 一、前言 本文记录基于Alglib进行非线性…

Spring Boot汽车世界:资讯与技术的交汇

2相关技术 2.1 MYSQL数据库 MySQL是一个真正的多用户、多线程SQL数据库服务器。 是基于SQL的客户/服务器模式的关系数据库管理系统&#xff0c;它的有点有有功能强大、使用简单、管理方便、安全可靠性高、运行速度快、多线程、跨平台性、完全网络化、稳定性等&#xff0c;非常…

算法--“找零方案”问题

def main():d [0.01, 0.02, 0.05, 0.1, 0.2, 0.5, 1.0] # 存储各种硬币的面值d_num [] # 存储每种硬币的数量total_money 0 # 收银员拥有的总金额# 输入每种硬币的数量temp input(请输入每种零钱的数量&#xff08;以空格分隔&#xff09;:)d_num0 temp.split() # 以空…

【UGUI】Unity 背包系统实现02:道具信息提示与显示

在游戏开发中&#xff0c;背包系统是一个常见的功能模块&#xff0c;用于管理玩家拾取的物品。本文将详细介绍如何在 Unity 中实现一个简单的背包系统&#xff0c;包括道具信息的提示和显示功能。我们将通过代码和场景搭建来逐步实现这一功能。 1. 功能需求清单 在实现背包系…

java基础概念31:常见API-Runtime

一、Runtime类常用方法 Runtime&#xff1a;表示当前虚拟机JVM的运行环境&#xff0c;只能有一个。 【注意】&#xff1a; 获取Runtime对象&#xff0c;只能通过getRuntime静态方法。 好处&#xff1a;不管在哪个类中调用Runtime方法&#xff0c;获取的都是同一个对象。即&…

SpringBoot 之整合gRPC

父工程中引入基本的依赖&#xff1a; <modules><module>api</module><module>client</module><module>service</module></modules><parent><artifactId>spring-boot-starter-parent</artifactId><group…

高性能linux服务器运维实战 运维深入实践

用户权限管理 用户与用户组 用户与角色分类 用户是根据角色定义的。可分三类用户角色&#xff0c;root用户&#xff0c;普通用户&#xff0c;虚拟用户 虚拟用户实际不存在&#xff0c;只是为了方便管理&#xff0c;满足进程或文件的属主需求 用户和组配置文件 /etc/passw…

景联文科技:以全面数据处理服务推动AI创新与产业智能化转型

数据标注公司在人工智能领域扮演着重要角色&#xff0c;通过提供高质量的数据标注服务&#xff0c;帮助企业和组织训练和优化机器学习模型。从需求分析到数据交付&#xff0c;每一个步骤都需要严格把控&#xff0c;确保数据的质量和安全性。 景联文科技是一家专业的数据采集与标…

上市公司企业研发操纵数据集(2008-2023年)

一、数据介绍&#xff1a;参考《财会月刊》苑泽明&#xff08;2020&#xff09;老师的做法&#xff0c;具体模型如下所示&#xff0c;TA 为总资产&#xff1b;RD 为研发支出&#xff1b;MV 为企业市值取对数&#xff1b;TBQ 为企业托宾 Q值&#xff1b;INT 为营业利润&#xff…

Maven的下载安装及配置

一、下载Maven 1、访问Maven官网&#xff1a; 打开浏览器&#xff0c;访问Maven的官方网站&#xff1a;Download Apache Maven – Maven 2、选择Maven版本&#xff1a; 在下载页面上&#xff0c;选择适合您操作系统的Maven版本。通常&#xff0c;Maven提供二进制zip归档和tar…

ISCTF 2024 web

ISCTF 2024 web 小蓝鲨的冒险 源码&#xff1a; <?php error_reporting(0); highlight_file(__FILE__); $a "isctf2024"; $b $_GET["b"]; parse_str($b); echo "小蓝鲨开始闯关&#xff0c;你能帮助他拿到flag吗?<br>"; if ($a…

Loopy为何成为IP联名新顶流,如何赋能品牌营销新高度?

在当今竞争激烈的市场环境中&#xff0c;跨界合作已成为品牌营销的重要策略之一。一个成功的跨界合作案例&#xff0c;便是Loopy IP与多个品牌的深度合作。这只来自韩国动画片《小企鹅Pororo》中的配角&#xff0c;凭借一套打工人表情包在中国社交网络迅速走红&#xff0c;并逐…

Mendix 创客访谈录|Mendix 助力西门子原生数字化工厂精益高效

本期创客 向宇轩 西门子数控&#xff08;南京&#xff09;有限公司 数字化工程师 大家好&#xff0c;我是向宇轩。专业背景是计算机科学与技术&#xff0c;毕业后加入西门子数控&#xff08;南京&#xff09;有限公司&#xff08;SNC&#xff09;担任数字化工程师的职务&#x…

C++ —— string类(上)

目录 string的介绍 string类功能的使用介绍 constructor —— 构造 介绍使用&#xff08;1&#xff09;&#xff08;2&#xff09;&#xff08;4&#xff09; &#xff1a;构造、拷贝构造、带参构造 介绍&#xff08;3&#xff09;&#xff1a;拷贝string类对象的一部分字符…

关于Qt C++中connect的几种写法

目录 1. 传统的槽函数写法 2. 使用函数指针的connect写法&#xff08;5.0&#xff09; 3. Lambda表达式作为槽函数&#xff08;C11&#xff09; 4.使用QOverload选择重载信号的写法 这connect函数就像是编程世界里的“茴”字&#xff0c;千变万化&#xff0c;各有千秋。咱们…