华为云.云日志服务LTS及其基本使用

云计算
云日志服务LTS及其基本使用

- 文章信息 - Author: 李俊才 (jcLee95)
Visit me at CSDN: https://jclee95.blog.csdn.net
My WebSitehttp://thispage.tech/
Email: 291148484@163.com.
Shenzhen China
Address of this article:https://blog.csdn.net/qq_28550263/article/details/140479964
HuaWei:https://bbs.huaweicloud.com/blogs/431260

【介绍】:本文详细介绍了华为云日志服务(LTS)的基本概念和使用方法,包括创建日志组和日志流、安装ICAgent、配置日志采集规则、查看和分析采集到的实时日志等,为读者提供了一个完整的LTS入门指南,帮助读者快速上手使用LTS进行基本日志管理。

在这里插入图片描述


1. 概述

1.1 华为云DRS简介

华为云日志服务(Log Tank Service,简称LTS)是一项一站式日志数据解决方案。它支持日志采集、搜索分析、日志存储、日志加工、可视化仪表盘、日志告警等功能。LTS提供稳定可靠的服务,用户无需关注扩缩容等资源问题,同时降低了日志运维门槛,有助于提高问题定位和指标监控的效率。

LTS的主要特点包括:

  1. 实时日志采集:支持通过ICAgent、云服务、APISDK等多种方式采集日志。

  2. 高效日志查询:采集的日志数据可在云日志控制台以简单有序的方式展示,方便快速查询。

  3. 结构化分析:支持对日志进行结构化处理,提取固定格式或相似度高的内容,便于使用SQL语法进行查询分析。

  4. 可视化报表:提供多样化的可视化展示功能,如表格、折线图、柱状图、饼图等。

  5. 监控告警:支持创建统计规则,对接告警中心,实现日志的实时监控和告警。

  6. 长期存储:支持将日志转储到对象存储服务(OBS)、数据接入服务(DIS)等,实现长期保存。

LTS可广泛应用于日志采集分析、性能优化、安全审计、运营分析等多个场景,是企业进行日志管理和分析的有力工具。

1.2 实验目的

本实验旨在通过实际操作,帮助读者快速上手使用华为云日志服务(LTS)。具体目标如下:

  1. 了解LTS的基本概念,包括日志组、日志流、ICAgent等。

  2. 掌握创建日志组和日志流的方法。

  3. 学习如何在弹性云服务器(ECS)上安装ICAgent

  4. 配置日志采集规则,将ECS的系统日志接入LTS

  5. 在LTS控制台查看和分析采集到的实时日志。

通过完成这些步骤,读者将能够建立起对LTS的基本认识,并具备使用LTS进行日志管理的基本技能。这为后续深入使用LTS进行更复杂的日志分析、监控告警等操作奠定基础。

本实验采用实际操作的方式,让读者亲身体验LTS的功能和使用流程,从而加深对LTS的理解和掌握。实验中使用的是华为云平台,读者需要准备一个华为云账号,并创建一台ECS实例作为日志源。通过这种实践性的学习,读者可以更好地理解LTS在实际应用中的价值和作用。

1.3 关键概念

在使用华为云日志服务(LTS)之前,了解以下关键概念及其关系非常重要:

  1. 日志组(Log Group)

    • 日志组是LTS中日志管理的基本单位。
    • 它用于对日志进行分类管理,通常可以按照业务类型或应用系统来划分。
    • 一个日志组可以包含多个日志流。
  2. 日志流(Log Stream)

    • 日志流是日志数据的载体,用于存储同一类型的日志数据。
    • 每个日志流都从属于一个特定的日志组。
    • 日志流可以对应到具体的日志文件或日志类型,如应用程序日志、系统日志等。
  3. ICAgent

    • ICAgentLTS提供的日志采集代理程序。
    • 它需要安装在需要采集日志的服务器(如ECS)上。
    • ICAgent负责从服务器上收集日志数据,并将其上传到LTS服务。
  4. 日志主题(Log Topic)

    • 日志主题是对日志数据进行分类的一种方式。
    • 它可以用于将同一日志流中的日志按照不同的主题进行归类。
  5. 结构化配置

    • 结构化配置用于定义如何解析原始日志数据。
    • 通过结构化配置,可以将非结构化的日志转换为结构化数据,便于后续的查询和分析。
  6. 索引配置

    • 索引配置定义了如何对日志数据建立索引。
    • 合理的索引配置可以提高日志查询的效率。

其中

  • 一个LTS账户可以创建多个日志组;
  • 每个日志组可以包含多个日志流;
  • ICAgent安装在需要采集日志的服务器上,负责将日志数据采集到指定的日志流中;
  • 日志流中的数据可以通过结构化配置进行解析,并通过索引配置建立索引;
  • 日志主题则可以用于对同一日志流中的日志进行进一步分类。

2. 准备工作

2.1 创建AK/SK

进入华为云·我的凭证页面:https://console.huaweicloud.com/iam/?region=cn-north-4#/mine/accessKey。你想看到如下页面:

在这里插入图片描述
点击左上角的“新增访问密钥”,在模态框弹窗中输入此密钥的描述信息,然后点击确定:

在这里插入图片描述
创建完成后,将弹出“创建成功”弹窗:

在这里插入图片描述
你可以直接点击“立即下载”,这将会下载一个“credentials.csv”文件,你可以使用文本编辑器、Excel等软件打开查看它。
打开后你将看到“User Name”(你的用户名)、“Access Key Id”(AK,访问键ID)、“Secret Access Key”(加密访问密钥)三个字段。你需要妥善保管好他们一面泄露,这可以用于登陆或访问你的华为云的部分资源和相关软件,比如华为云的OBS Browser+ 等。

2.2 创建一个ECS服务器

接下来,我们创建一个ECS服务器用于演示收集其日志。进入华为云·ECS控制台:https://console.huaweicloud.com/ecm/?agencyId=0849469bf980f49c1f6ac0061a1e62ae&region=cn-north-4&locale=zh-cn#/ecs/manager/vmList。点击左上角的“购买弹性云服务器”:
在这里插入图片描述
为了实验成本最低,选择一台最低配置的ECS实例:

在这里插入图片描述
选择一个你熟悉的镜像,然后点击右下角的“下一步:配置网络”:

在这里插入图片描述
选择一个VPC,然后考虑是否需要包月或按照流量计费宽带,配置后进入下一步:

在这里插入图片描述
配置ECS实例名称以及登录密码等信息,然后确认配置:

在这里插入图片描述
最后确认配置并提交:

在这里插入图片描述
然后返回ECS列表即可:

在这里插入图片描述

在列表中可以看到我们刚刚所购买的ECS实例:

在这里插入图片描述

3. ECS接入LTS

3.1 创建日志组、日志流

登录华为云·云日志服务LTS控制台页面:https://console.huaweicloud.com/lts/?agencyId=0849469bf980f49c1f6ac0061a1e62ae&region=cn-north-4&locale=zh-cn#/cts/manager/groups。在“日志管理”子标签页中向下滚动:

在这里插入图片描述
直到你看到“日志组列表”:

在这里插入图片描述

点击“创建日志组”按钮,输入日志组的相关信息后,点击确认:

在这里插入图片描述

创建完成后,可以在日志组列表中看到刚刚新建的日志组:

在这里插入图片描述
旧版的日志组列表中需要点击去对应的日志组才能为该日志组新建日志流。不过如今的版本可以直接在“日志组列表”中对应的日志组下点击“创建日志流”。果断点击“创建日志流”:

在这里插入图片描述

在此右侧面板中,输入相关信息无误后点击确定,可以看到该日志组的展开信息下多了一条刚刚新建的日志流信息:

在这里插入图片描述
完成这一步后,就可以取安装ICAgent了。

3.2 日志采集工具ICAgent安装

在前文我们已经介绍了如何获取AK/SK,(参见2.1 创建AK/SK)。现在我们需要将AK和SK替换到下面的模板中的{input_your_ak}{input_your_sk}部分,以得到安装命令:

set +o history;curl https://icagent-cn-north-4.obs.cn-north-4.myhuaweicloud.com/ICAgent_linux/apm_agent_install.sh > apm_agent_install.sh && REGION=cn-north-4 bash apm_agent_install.sh -ak {input_your_ak} -sk {input_your_sk} -region cn-north-4 -projectid 0c34261a0800f2512f53c006f337ef47 -accessip 100.125.12.150 -obsdomain obs.cn-north-4.myhuaweicloud.com -accessdomain lts-access.cn-north-4.myhuaweicloud.com    ;set -o history;

然后,回到ECS实例页面,选择刚刚创建好用于演示日志采集的服务器,点击“远程登录”:

在这里插入图片描述

滚动到最下侧,点击图示的“立即登录”:

在这里插入图片描述

在新页面的模拟终端中,输入你创建ECS时候设置的root用户密码完成登录:

在这里插入图片描述
将准备好的命令粘贴进去,并运行命令,等待安装完成:
在这里插入图片描述

可以看到这里的信息提示安装成功了。

3.3 接入日志

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
为了演示,这里笔者配置一些华为云Linux系统运行一阵子必有的日志路径作为采集对象:

在这里插入图片描述
根据你的业务需求取配置“全文索引”、“日志分析”等信息:

在这里插入图片描述

完成后提交或者直接跳过并提交,进行ECS日志接入:

在这里插入图片描述
现在我们可以查看日志流,直接进入被接入的日志流详情,可以看到,创建之初还没有日志信息:

在这里插入图片描述
等待一会,你可可以登录ECS人为搞一些事情,以更快得到更多日志。

在这里插入图片描述

在“实时日志”下方,可以看到不断增加的被LTS(其实是ICAgent)监测到的日志内容:

在这里插入图片描述
可见,我们的ECS日志成功接入了。

在实际项目中,需要接入的往往是各种应用的运行日志,比如Nginx的access.log、error.log,JBoss的server.log等等。

4. 总结

至此,我们已经详细介绍了华为云日志服务(LTS)的基本概念和使用方法。我们首先了解了LTS的功能和特点,然后通过实际操作演示了如何创建日志组和日志流、在ECS上安装ICAgent、配置日志采集规则,最后成功将ECS的系统日志接入LTS并在控制台查看实时日志。这一系列步骤涵盖了LTS使用的基本流程,为读者提供了一个完整的LTS入门指南。

通过本文的学习和实践,期望帮助读者掌握使用LTS进行基本日志管理的技能。这为后续深入使用LTS进行更复杂的日志分析、监控告警等操作奠定了基础。在实际应用中,LTS可以帮助用户更好地监控系统状态、定位故障、分析业务数据,从而提高运维效率和业务洞察能力。希望本文能够帮助读者快速上手LTS,并在实际工作中充分发挥LTS的价值。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/1486038.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

数学建模(7)——Logistic模型

一、马尔萨斯人口模型 import numpy as np import matplotlib.pyplot as plt# 初始人口 N0 100 # 人口增长率 r 0.02 # 时间段(年) t np.linspace(0, 200, 200)# 马尔萨斯人口模型 N N0 * np.exp(r * t)# 绘图 plt.plot(t, N, labelPopulation) plt.…

图片转pdf的软件有哪些?这几种转换工具了解下

在日常的办公学习中,图片转PDF的需求愈发普遍。不论是工作汇报、学习笔记还是生活点滴,我们都希望将重要的图片内容整理成易于查阅的PDF格式。那么,有哪些软件可以做到将图片转换成PDF格式呢?给大家介绍5种简单好用的转换方法&…

Linux第五节课(权限02)

1、Linux下的用户分类 root:超级用户普通用户:通过root新建的用户,adduser root不受权限约束;普通用户受权限约束; Linux系统中,所有用户都需要有密码,无论是root还是其他,即便是…

SpringBoot+ Sharding Sphere 轻松实现数据库字段加解密

一、介绍 在实际的软件系统开发过程中,由于业务的需求,在代码层面实现数据的脱敏还是远远不够的,往往还需要在数据库层面针对某些关键性的敏感信息,例如:身份证号、银行卡号、手机号、工资等信息进行加密存储&#xf…

优选算法之二分查找(上)

目录 一、二分查找 1.题目链接:704. 二分查找 2.题目描述: 3.算法流程: 4.算法代码: 二、在排序数组中查找元素的第一个和最后一个位置 1.题目链接:34. 在排序数组中查找元素的第一个和最后一个位置 2.题目描述…

matlab2018b安装

1.可先参考这个 2.激活 按上面教程安装后,打开matlab 可能会出现软件激活这个界面,需要按如下步骤进行操作。

从理论到实践:如何用 TDengine 打造完美数据模型​

在用 TDengine 进行数据建模之前,我们需要回答两个关键问题:建模的目标用户是谁?他们的具体需求是什么?在一个典型的时序数据管理方案中,数据采集和数据应用是两个主要环节。如下图所示: 对于数据采集工程师…

Bootstrap5 Navbar多级下拉框

实现目标&#xff1a; 1、访问 Bootstrap5-navbar 2、修改dropdown为多级 <!DOCTYPE HTML> <html lang"en-US"> <head><meta charset"UTF-8"><title></title><link rel"stylesheet" href"https…

Unity DOTS中的world

Unity DOTS中的world 注册销毁逻辑自定义创建逻辑创建world创建system group插入player loopReference DOTS中&#xff0c;world是一组entity的集合。entity的ID在其自身的世界中是唯一的。每个world都拥有一个EntityManager&#xff0c;可以用它来创建、销毁和修改world中的en…

[AWS]MSK调用,报错Access denied

背景&#xff1a;首先MSK就是配置一个AWS的托管 kafka&#xff0c;创建完成之后就交给开发进行使用&#xff0c;开发通常是从代码中&#xff0c;编写AWS的access_key 和secret_key进行调用。 但是开发在进行调用的时候&#xff0c;一直报错连接失败&#xff0c;其实问题很简单&…

【机器学习】机器学习之计算学习理论--评估机器学习能够学到什么程度

引言 计算学习理论&#xff08;Computational Learning Theory&#xff0c;CLT&#xff09;是机器学习的一个分支&#xff0c;它使用数学工具来分析和理解机器学习算法的效率和可能性 计算学习理论主要关注三个核心问题&#xff1a;学习模型的表示、学习算法的效率和学习的泛化…

Matlab画不同指标的对比图

目录 一、指标名字可修改 二、模型名字可修改 三、输入数据可修改 软件用的是Matlab R2024a。 clear,clc,close all figure1figure(1); % set(figure1,Position,[300,100,800,600],Color,[1 1 1]) axes1 axes(Parent,figure1);%% Initialize data points 一、指标名字可修…

Astro 4.12 发布,新增支持服务器岛屿

近日&#xff0c;Astro 发布了最新的 4.12 版本&#xff0c;此版本包含 Server Islands&#xff08;服务器岛屿&#xff09;&#xff0c;这是 Astro 将高性能静态 HTML 和动态服务器生成的组件集成在一起的新解决方案&#xff0c;此版本还包括对分页和语法突出显示的改进。 要…

如何检查我的网站是否支持HTTPS

HTTPS是一种用于安全通信的协议&#xff0c;是HTTP的安全版本。HTTPS的主要作用在于为互联网上的数据传输提供安全性和隐私保护。通常是需要在网站安装部署SSL证书来实现网络数据加密传输&#xff0c;安全加密功能。 那么如果要检查你的网站是否支持HTTPS&#xff0c;可以看下…

C#基于SkiaSharp实现印章管理(4)

前几篇文章实现了绘制不同外形印章的功能&#xff0c;印章内部一般包含圆形、线条等形状&#xff0c;有些印章内部还有五角星&#xff0c;然后就是各种样式的文字。本文实现在印章内部绘制圆形、线条、矩形、椭圆等四种形状。   定义FigureType枚举记录印章内部形状&#xff…

数据结构——堆(C语言版)

树 树的概念&#xff1a; 树&#xff08;Tree&#xff09;是一种抽象数据结构&#xff0c;它由节点&#xff08;node&#xff09;的集合组成&#xff0c;这些节点通过边相连&#xff0c;把 节点集合按照逻辑顺序抽象成图像&#xff0c;看起来就像一个倒挂着的树&#xff0c;也…

react入门到实战-day1

这react门课我是学习b站黑马的课程&#xff0c;不是打公告哈&#xff0c;我只是过一遍&#xff0c;让自己对学过的知识有印象&#xff0c;所以笔记是有很大部分直接复制总结过来的&#xff0c;方便后面的我进行复习。如有冒犯&#xff0c;联系必删 React介绍以及创建方式 React…

基于FPGA的以太网设计(2)----以太网的硬件架构(MAC+PHY)

1、概述 以太网的电路架构一般由MAC、PHY、变压器、RJ45和传输介质组成,示意图如下所示: 需要注意的是,上图是一个简化了的模型,它描述的是两台主机之间的直接连接,但在实际应用中基本都是多台主机构成的局域网,它们之间并不直接相连,而是通过交换机Switch来进行…

JAVA开发工具IDEA如何连接操作数据库

一、下载驱动 下载地址&#xff1a;【免费】mysql-connector-j-8.2.0.jar资源-CSDN文库 二、导入驱动 鼠标右击下载到IDEA中的jar包&#xff0c;选择Add as Library选项 如图就导入成功 三、加载驱动 Class.forName("com.mysql.cj.jdbc.Driver"); 四、驱动管理…

FPGA开发在verilog中关于阻塞和非阻塞赋值的区别

一、概念 阻塞赋值&#xff1a;阻塞赋值的赋值号用“”表示&#xff0c;对应的是串行执行。 对应的电路结构往往与触发沿没有关系&#xff0c;只与输入电平的变化有关系。阻塞赋值的操作可以认为是只有一个步骤的操作&#xff0c;即计算赋值号右边的语句并更新赋值号左边的语句…