linux安装配置 flume

目录

一 解压安装包

二 配置部署

        (1)修改配置 

        (2)下载工具 

        (3)创建配置文件 

        (4)启动监听测试 

        (5)flume监控文件 


一 解压安装包

        这里提供了网盘资源

链接: https://pan.baidu.com/s/1Z0aItCHMybYpXkt3_RUaVw?pwd=s6pg 提取码: s6pg

        这里安装包是放到/opt/install 文件夹下

        解压到/opt/soft 目录 

tar -zxf /opt/install/apache-flume-1.9.0-bin.tar.gz -C /opt/soft

        给解压的文件夹改个名

cd /opt/soft
 mv apache-flume-1.9.0-bin/ flume190

二 配置部署

        (1)修改配置 

        将lib文件夹下的guava-11.0.2.jar删除以兼容Hadoop 3.1.3

cd ../lib
rm -rf ./guava-11.0.2.jar
 cp /opt/soft/hadoop313/share/hadoop/common/lib/guava-27.0-jre.jar ./

        进入/opt/soft/flume190/conf/目录

 cd flume190/conf/

        flume-env.sh.template拷贝成 flume-env.sh

cp flume-env.sh.template ./flume-env.sh

         修改该文件

 vim flume-env.sh

         22行jdk路径修改成自己的

22  export JAVA_HOME=/opt/soft/jdk180

         25 行 jdk 内存改大些

 25  export JAVA_OPTS="-Xms2000m -Xmx2000m -Dcom.sun.management.jmxremote"

        (2)下载工具 

yum install -y net-tools

        安装 netcat 

yum install -y nc

        安装 telnet 服务

 yum install -y telnet-server

        安装 telnet 客户端

yum install -y telnet.*

        测试 telnet

        开两个窗口分别作为客户端和服务器端

        客户端

telnet localhost 7777

        服务器端

nc -lk 7777

        在客户端拨号输入语句后,服务器端能接受到

        服务器端挂掉后,客户端也会跟着挂掉

        查看 7777端口是否被占用

netstat -lnp | grep 7777

        (3)创建配置文件 

         创建 myconf2 文件夹

mkdir myconf2

        创建 conf 文件 

 vim ./netcat-logger.conf
a1.sources=r1
a1.channels=c1
a1.sinks=k1a1.sources.r1.type=netcat
a1.sources.r1.bind=localhost
a1.sources.r1.port=7777a1.channels.c1.type=memorya1.sinks.k1.type=loggera1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

        (4)启动监听测试 

        此时执行的路径在/opt/soft/flume190,因为这条命令有的参数路径是相对路径,所以必须在当前路径下执行

 ./bin/flume-ng agent --name a1 --conf ./conf/ --conf-file ./conf/myconf2/netcat-logger.conf  -Dflume.root.logger=INFO,console

        此时再次在客户端拨号输入内容,将会在控制台看到

第一种写法:

[atguigu@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console

第二种写法:

[atguigu@hadoop102 flume]$ bin/flume-ng agent -c conf/ -n a1 -f job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console

参数说明:

--conf/-c:表示配置文件存储在conf/目录

--name/-n:表示给agent起名为a1

--conf-file/-f:flume本次启动读取的配置文件是在job文件夹下flume-telnet.conf文件。

-Dflume.root.logger=INFO,console :-D表示flume运行时动态修改flume.root.logger参数属性值,并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error。

        (5)flume监控文件 

        在 myconf 文件夹中新编辑一个配置文件

vim ./flumelogger.econf
a2.sources=r1
a2.channels=c1
a2.sinks=k1a2.sources.r1.type=exec
a2.sources.r1.command=tail -f /opt/kb23/flumefile.loga2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100a2.sinks.k1.type = loggera2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

        创建一个被监控的文件

        我这里的是 /opt/kb23/flumefile.log

        这里命令的意思是只要有东西被加入这个文件,就会被 flume 监控到

        运行

 ./bin/flume-ng agent --name a2 --conf ./conf/ --conf-file ./conf/myconf2/filelogger.conf  -Dflume.root.logger=INFO,console

        写东西进入flumefile.log测试(另一个窗口)

echo "hello dio" >> /opt/kb23/flumefile.log

        如果被监测到就是成功了

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/140927.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

js中的数据结构:栈,队列,链表,字典哈希表,树

栈:先进后出 队列:先进先出 链表: 单链表: 双链表: 环形链表:最后一个数据的next指针不是指向null,指向的是任意之间的一个数据,形成一个环 数组和链表的区别: 字典和哈…

HT for Web (Hightopo) 使用心得(2)- 2D 图纸、节点、连线 与基本动画

概括来说,用 HT for Web 做可视化主要分为两部分,也就是 2D 和 3D。这两部分需要单独创建。在它们被创建完成后,我们再把它们集成到一起。 HT for Web 的 2D 部分主要是指 ht.graph.GraphView (简称 GraphView,也就是 2D 图纸)。…

速码!!BGP最全学习笔记:IBGP和EBGP基本配置

实验1&#xff1a;配置IBGP和EBGP 实验目的 熟悉IBGP和EBGP的应用场景掌握IBGP和EBGP的配置方法 实验拓扑 想要华为数通配套实验拓扑和配置笔记的朋友们点赞关注&#xff0c;评论区留下邮箱发给你! 实验步骤 1.IP地址的配置 R1的配置 <Huawei>system-view …

【伺服、变频器、电磁阀、传感器的选型】

1 伺服电机的选型 电机选型参考五大方面&#xff1a; 1、伺服电机参数&#xff1a;要先了解电机的规格型号、功能特性、防护型式、额定电压、额定电流、额定功率、电源频率、绝缘等级等。这些内容基本能给用户正确选择保护器提供了参考依据。 2、环境条件&#xff1a;主要指常…

Ubuntu 20.04中docker-compose部署Nightingale

lsb_release -r可以看到操作系统版本是20.04&#xff0c;uname -r可以看到内核版本是5.5.19。 sudo apt install -y docker-compose安装docker-compose。 完成之后如下图&#xff1a; cd /opt/n9e/docker/进入到/opt/n9e/docker/里边。 docker-compose up -d进行部署。 …

搜款网VVIC根据ID取商品详情 API 关键词搜索商品列表

搜款网是一家服装批发平台&#xff0c;提供多个品牌和供应商的服装、鞋子、箱包等商品供采购者选择&#xff0c;为了获取商品详情&#xff0c;您需要使用搜款网的API接口。 建议您联系搜款网的客服或开发者&#xff0c;以获取更多关于API接口的信息&#xff0c;包括使用方法、…

初识Java 10-1 集合

目录 泛型和类型安全的集合 基本概念 添加一组元素 打印集合 List Iterator&#xff08;迭代器&#xff09; 本笔记参考自&#xff1a; 《On Java 中文版》 在进行程序设计时我们会发现&#xff0c;程序总是会根据某些在运行时才能知道的条件来创建新的对象。这意味着&am…

《动手学深度学习 Pytorch版》 7.4 含并行连接的网络(GoogLeNet)

import torch from torch import nn from torch.nn import functional as F from d2l import torch as d2l7.4.1 Inception块 GoogLNet 中的基本卷积块叫做 Inception 块&#xff08;大概率得名于盗梦空间&#xff09;&#xff0c;由 4 条并行路径组成。 前 3 条路径使用窗口…

MySQL数据库详解 二:数据库的高级语句(高级查询语句)

文章目录 1. 克隆表 ---- 将数据表的数据记录生成到新的表中1.1 方式一&#xff1a;先创建新表&#xff0c;再导入数据1.2 方式二&#xff1a;创建的时候同时导入 2. 清空表 ---- 删除表内的所有数据2.1 delete删除2.2 truncate删除&#xff08;重新记录&#xff09;2.3 创建临…

OSI 七层网络协议最全的图

OSI 七层网络协议最全的图 文章出处&#xff1a;https://www.shuzhiduo.com/A/RnJWawowdq/

Docker 自动化部署(保姆级教程)

Docker 自动化部署 1. jenkins 介绍1.1 参考链接&#xff1a;1.2 jenkins 概述1.3 jenkins部署项目的流程 2. jenkins 安装2.1 基于docker 镜像2.2 启动 jenkins 后端服务2.3 登录 jenkins 服务后端 3. jenkins自动化部署开始3.1 下载需要的插件3.2 创建任务3.2.1 描述3.2.2 配…

【深度学习】 Python 和 NumPy 系列教程(十八):Matplotlib详解:2、3d绘图类型(4)3D曲面图(3D Surface Plot)

目录 一、前言 二、实验环境 三、Matplotlib详解 1、2d绘图类型 2、3d绘图类型 0. 设置中文字体 1. 3D线框图&#xff08;3D Line Plot&#xff09; 2. 3D散点图&#xff08;3D Scatter Plot&#xff09; 3. 3D条形图&#xff08;3D Bar Plot&#xff09; 4. 3D曲面图…

第1篇 目标检测概述 —(1)目标检测基础知识

前言&#xff1a;Hello大家好&#xff0c;我是小哥谈。目标检测是计算机视觉领域中的一项任务&#xff0c;旨在自动识别和定位图像或视频中的特定目标&#xff0c;目标可以是人、车辆、动物、物体等。目标检测的目标是从输入图像中确定目标的位置&#xff0c;并使用边界框将其标…

程序员的快乐如此简单

最近在GitHub上发起了一个关于Beego框架的小插件的开源仓库&#xff0c;这一举动虽然看似微小&#xff0c;但其中的快乐和意义却是无法用言语表达的。 Beego是一个开源的Go语言Web框架&#xff0c;它采用了MVC架构模式&#xff0c;并集成了很多常用的功能和中间件。小插件是指…

关于POM声明为provided的依赖,运行程序时报错NoClassDefFoundError

问题叙述 我在编写flink程序时&#xff0c;将flink相关依赖声明为provided&#xff08;目的是项目打包时不会将flink依赖打入包最终jar包中&#xff0c;减少内存占用&#xff09; 但是如果在IDEA本地中执行程序会报错java.lang.NoClassDefFoundError&#xff0c;如下所示 解…

使用亚马逊云服务器在 G4 实例上运行 Android 应用程序

随着 Android 应用程序和游戏变得越来越丰富&#xff0c;其中有些甚至比 PC 上的软件更易于使用和娱乐&#xff0c;因此许多人希望能够在云上运行 Android 游戏或应用程序&#xff0c;而在 EC2 实例上运行 Android 的解决方案可以让开发人员更轻松地测试和运行 Android 应用程序…

软件测试人员必须知道的接口测试基础

一、首先&#xff0c;什么是接口呢&#xff1f; 接口一般来说有两种&#xff0c;一种是程序内部的接口&#xff0c;一种是系统对外的接口。系统对外的接口&#xff1a;比如你要从别的网站或服务器上获取资源或信息&#xff0c;别人肯定不会把数据库共享给你&#xff0c;他只能…

MySQL 学习笔记(基础)

首先解释数据库DataBase&#xff08;DB&#xff09;&#xff1a;即存储数据的仓库&#xff0c;数据经过有组织的存储 数据库管理系统DataBase Management System&#xff08;DBMS&#xff09;&#xff1a;管理数据库的软件 SQL&#xff08;Structured Query Language&#xf…

springboot整合aop,实现日志操作

前言&#xff1a; 整合之前&#xff0c;我们要明白aop是什么&#xff0c;为什么要用aop&#xff0c;aop能帮我们做什么。 答&#xff1a;AOP是面向切面编程&#xff08;Aspect-Oriented Programming&#xff09;的简称&#xff0c;它是一种编程思想&#xff0c;旨在在面向对象…

LeetCode算法二叉树—相同的树

目录 100. 相同的树 - 力扣&#xff08;LeetCode&#xff09; 代码&#xff1a; 运行结果&#xff1a; 给你两棵二叉树的根节点 p 和 q &#xff0c;编写一个函数来检验这两棵树是否相同。 如果两个树在结构上相同&#xff0c;并且节点具有相同的值&#xff0c;则认为它们是…