opentelemetry、grafana、Prometheus、jaeger、victoria-metrics 介绍、关系与使用

Opentelemetry

OTEL 是 OpenTelemetry 的简称， 是 CNCF 的一个可观测性项目，旨在提供可观测性领域的标准化方案，解决观测数据的数据模型、采集、处理、导出等的标准化问题，提供与三方 vendor 无关的服务。
OpenTelemetry 是一组标准和工具的集合，旨在管理观测类数据，如 Traces、Metrics、Logs 等 (未来可能有新的观测类数据类型出现)。目前已经是业内的标准。
在这里插入图片描述

1. 三个基本概念

1.1 Tracing

opentelemetry可以将trace的数据发送到jaeger去
Tracing 提供了从请求开始接收到处理完毕的整个生命周期的全貌。使用span最为跟踪数据，生成信息（元数据）
在这里插入图片描述

obs-opentelemetry 实现了什么:

- 支持在 hertz 服务端和客户端之间启用 http 链路追踪
- 支持通过设置 http header 以启动自动透明地传输对端服务

使用示例

package mainimport ("github.com/cloudwego/hertz/pkg/app/server"hertztracing "github.com/hertz-contrib/obs-opentelemetry/tracing"
)func main() {tracer, cfg := hertztracing.NewServerTracer()h := server.Default(tracer)h.Use(hertztracing.ServerMiddleware(cfg))// ...h.Spin()
}

1.2 Metric

简单说，cpu、内存、运行时候的信息，可以==通过Prometheus+导出器搞定 ==（发过去）

度量指标（Metric）包含了各种各样的方法和实现。

Metric 包括了追踪样本以及自动将指标与产生它们的追踪样本联系起来。手动将指标和追踪联系起来往往是一项繁琐且容易出错的任务。OpenTelemetry 自动执行这项任务将为运维人员节省大量的时间。
在这里插入图片描述

  • grafana与Prometheus
    Grafana是一个开源的可视化平台，用于创建、查询和展示时序数据的仪表盘和图表。它支持多种数据源，其中包括Prometheus。Grafana提供了丰富的可视化选项和灵活的仪表盘配置，可以根据需求创建各种类型的监控指标图表。借助Grafana，用户可以通过图表、面板和警报来监视和分析数据，并以直观和易于理解的方式展示。
    因此，Prometheus是一个用于收集和分析时间序列数据的监测系统，而Grafana是一个用于可视化和展示这些数据的工具。两者可以结合使用，使用户能够实时监控系统的性能、状态和指标，并通过仪表盘和图表直观地展示这些数据。

  • obs-opentelemetry 实现了什么:R.E.D (Rate, Errors, Duration) 定义了架构中的每个微服务测量的三个关键指标。OpenTelemetry 可以根据http.server.duration来计算R.E.D。

  • Rate：你的服务每秒钟所提供的请求数。
    例如: QPS（Queries Per Second）每秒查询率

sum(rate(http_server_duration_count{}[5m])) by (service_name, http_method)
  • Error：每秒失败的请求数。

例如：错误率

sum(rate(http_server_duration_count{status_code="Error"}[5m])) by (service_name, http_method) / 
sum(rate(http_server_duration_count{}[5m])) by (service_name, http_method)
  • Duration
    例如：P99 Latency
histogram_quantile(0.99, sum(rate(http_server_duration_bucket{}[5m])) by (le, service_name, http_method))

1.3 Logging

opentelemetry 发送到rockeyMQ等
在 logrus 的基础上适配了 hertz 日志工具
实现了链路追踪自动关联日志的功能

  • 三种常用log：Log:语言内置，logrus，zap
    在这里插入图片描述

2. 实现

2.1 docker-compose 部署依赖 && otel-collector 配置文件

docker-compse

version: "3.7"
services:#  # Collectorotel-collector:image: otel/opentelemetry-collector-contrib-dev:latestcommand: [ "--config=/etc/otel-collector-config.yaml", "${OTELCOL_ARGS}" ]volumes:- ./otel-collector-config.yaml:/etc/otel-collector-config.yamlports:- "1888:1888"   # pprof extension- "8888"   # Prometheus metrics exposed by the collector- "8889:8889"   # Prometheus exporter metrics- "13133:13133" # health_check extension- "4317:4317"   # OTLP gRPC receiver- "55679" # zpages extensiondepends_on:- jaeger-all-in-one# Jaegerjaeger-all-in-one:image: jaegertracing/all-in-one:latestenvironment:- COLLECTOR_OTLP_ENABLED=trueports:- "16686:16686"- "14268"- "14250:14250"- "6831:6831"#  - "4317:4317"   # OTLP gRPC receiver# Victoriametricsvictoriametrics:container_name: victoriametricsimage: victoriametrics/victoria-metricsports:- "8428:8428"- "8089:8089"- "8089:8089/udp"- "2003:2003"- "2003:2003/udp"- "4242:4242"command:- '--storageDataPath=/storage'- '--graphiteListenAddr=:2003'- '--opentsdbListenAddr=:4242'- '--httpListenAddr=:8428'- '--influxListenAddr=:8089'restart: always# Grafanagrafana:image: grafana/grafana:latestenvironment:- GF_AUTH_ANONYMOUS_ENABLED=true- GF_AUTH_ANONYMOUS_ORG_ROLE=Admin- GF_AUTH_DISABLE_LOGIN_FORM=trueports:- "3000:3000"

otel-collector-config.yml

receivers:otlp:protocols:grpc:exporters:prometheusremotewrite:endpoint: "http://victoriametrics:8428/api/v1/write"logging:otlp:endpoint: jaeger-all-in-one:4317tls:insecure: trueprocessors:batch:extensions:health_check:pprof:endpoint: :1888zpages:endpoint: :55679service:extensions: [ pprof, zpages, health_check ]pipelines:traces:receivers: [ otlp ]processors: [ batch ]exporters: [ logging, otlp ]metrics:receivers: [ otlp ]processors: [ batch ]exporters: [ logging, prometheusremotewrite ]

2.2 OTLP(OpenTelemetry Protocol )

OTLP（全称 OpenTelemetry Protocol ）是 OpenTelemetry 原生的遥测信号传递协议，虽然在 OpenTelemetry 的项目中组件支持了Zipkin v2或Jaeger Thrift的协议格式的实现，但是都是以第三方贡献库的形式提供的。只有 OTLP 是 OpenTelemetry 官方原生支持的格式。OTLP 的数据模型定义是基于 ProtoBuf 完成的，如果你需要实现一套可以收集 OTLP 遥测数据的后端服务，那就需要了解里面的内容，对应可以参考代码仓库：opentelemetry-proto（https://github.com/open-telemetry/opentelemetry-proto）

otel-collector-config 中指定接收器部分，定义了数据如何被接收。在这里配置了 otlp 接收器，使用 gRPC 协议进行通信。

receivers:otlp:protocols:grpc:

2.3 Opentelemetry-Collector

OpenTelemetry Collector （以下简称“otel-collector”）针对如何接收、处理和导出遥测数据提供了与供应商无关的实现。它消除了运行、操作和维护多个代理/收集器的需要，以支持将开源可观察性数据格式（例如 Jaeger、Prometheus 等）发送到一个或多个开源或商业后端。此外，收集器让最终用户可以控制他们的数据。收集器是默认位置检测库导出其遥测数据。
在这里插入图片描述
在这里插入图片描述
docker中的部署

version: "3.7"
services:#  # Collectorotel-collector:image: otel/opentelemetry-collector-contrib-dev:latestcommand: [ "--config=/etc/otel-collector-config.yaml", "${OTELCOL_ARGS}" ]volumes:- ./otel-collector-config.yaml:/etc/otel-collector-config.yamlports:- "1888:1888"   # pprof extension- "8888"   # Prometheus metrics exposed by the collector- "8889:8889"   # Prometheus exporter metrics- "13133:13133" # health_check extension- "4317:4317"   # OTLP gRPC receiver- "55679" # zpages extensiondepends_on:- jaeger-all-in-one

2.4 otel-exporter、service

exporters:prometheusremotewrite:endpoint: "http://victoriametrics:8428/api/v1/write"logging:otlp:endpoint: jaeger-all-in-one:4317tls:insecure: true
...
service:extensions: [ pprof, zpages, health_check ]pipelines:traces:receivers: [ otlp ]processors: [ batch ]exporters: [ logging, otlp ] # 通过otlp导出给jaegermetrics:receivers: [ otlp ]processors: [ batch ]exporters: [ logging, prometheusremotewrite ]
  • exporters:
    导出器部分，定义了数据如何被导出。在这里配置了三个导出器，分别是 prometheusremotewrite 、logging、 通过otlp导出到jaeger。
    prometheusremotewrite 导出器用于将指标数据导出到远程写入的 Prometheus 实例，而 logging 导出器将数据打印到日志中。
    OTLP（OpenTelemetry Protocol）导出器，它将数据导出到指定的 endpoint 中。在这里，endpoint 被配置为 jaeger-all-in-one:4317，即使用 jaeger-all-in-one 全部集成的 Jaeger 实例作为终端节点。此外，还配置了一个 tls 字段，表示该导出器是否启用 TLS/SSL 加密传输。
  • service：
    服务部分，定义了整个服务的配置。在这里配置了使用的扩展以及数据的流程。其中 pipelines 部分定义了多个数据流程，包括 traces 和 metrics。每个数据流程都有对应的接收器、处理器和导出器。

2.5 opentelemetry、grafana、Prometheus、jaeger、victoria-metrics 之间关系

OpenTelemetry、Grafana、Prometheus、Jaeger和VictoriaMetrics 是在观测性和监控领域中使用的一些工具，它们可以相互配合使用以提供全面的监控和观测能力。

  • OpenTelemetry：OpenTelemetry 是一个开源的观测性框架，用于在分布式系统中收集、处理和导出跟踪数据、指标数据和日志数据。它提供了一组库和工具，使开发人员能够在应用程序中插入代码以生成和导出数据，以便进行分析和监控。

  • Grafana：Grafana 是一个流行的开源数据可视化工具，用于创建、查询和可视化各种数据源中的监控指标、日志和其他数据。Grafana 提供了丰富的可视化选项和仪表板功能，使用户能够根据需要自定义显示和分析数据。

  • Prometheus：Prometheus 是一个开源的系统监控和警报工具，用于收集和存储时间序列数据。它具有内置的数据模型和查询语言，可对指标进行高效的存储和查询。Prometheus 支持各种数据源的数据采集，并和Grafana配合使用，可以创建实时监控仪表板，并进行数据可视化和警报。

  • Jaeger：Jaeger 是一个开源的分布式追踪系统，用于收集、存储和查询分布式应用程序的跟踪数据。它可以帮助开发人员理解应用程序中的服务调用关系和性能瓶颈。Jaeger 与 OpenTelemetry 配合使用，提供了对分布式跟踪数据的收集和展示功能。

  • VictoriaMetrics：VictoriaMetrics 是一个高性能、开源的时间序列数据库和监控系统，在处理大规模时间序列数据时表现出色。它兼容 Prometheus 的数据模型和查询语言，并提供了高度可扩展的存储和查询能力。可以将其作为 Prometheus 的后端存储，用于长期存储和检索时间序列数据。（可以代替Prometheus斜体样式）

综上所述，OpenTelemetry 用于收集、处理和导出观测性数据，Prometheus 和 VictoriaMetrics 用于存储和查询时间序列数据，Grafana 用于将数据进行可视化展示，而 Jaeger 则用于收集和展示分布式追踪数据。这些工具可以相互配合使用，以构建全面的监控和观测解决方案。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/148241.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

postgresql新特性之Merge

postgresql新特性之Merge

postgresql新特性之Merge 创建测试表测试案例 创建测试表 create table cps.public.test(id integer primary key,balance numeric,status varchar(1));测试案例 官网介绍 merge into test t using ( select 1 id,0 balance,Y status) s on(t.id s.id) -- 当匹配上了,statu…
阅读更多...
TempleteMethod

TempleteMethod

TempleteMethod 动机 在软件构建过程中，对于某一项任务，它常常有稳定的整体操作结构，但各个子步骤却有很多改变的需求，或者由于固有的原因 （比如框架与应用之间的关系）而无法和任务的整体结构同时实现。如…
阅读更多...
嵌入式Linux应用开发-驱动大全-同步与互斥①

嵌入式Linux应用开发-驱动大全-同步与互斥①

嵌入式Linux应用开发-驱动大全-同步与互斥① 第一章 同步与互斥①1.1 内联汇编1.1.1 C语言实现加法1.1.2 使用汇编函数实现加法1.1.3 内联汇编语法1.1.4 编写内联汇编实现加法1.1.5 earlyclobber的例子 1.2 同步与互斥的失败例子1.2.1 失败例子11.2.2 失败例子21.2.3 失败例子3…
阅读更多...
使用CrawlSpider爬取全站数据。

使用CrawlSpider爬取全站数据。

CrawpSpider和Spider的区别 CrawlSpider使用基于规则的方式来定义如何跟踪链接和提取数据。它支持定义规则来自动跟踪链接，并可以根据链接的特征来确定如何爬取和提取数据。CrawlSpider可以对多个页面进行同样的操作，所以可以爬取全站的数据。CrawlSpid…
阅读更多...
【2023年11月第四版教材】第17章《干系人管理》（合集篇）

【2023年11月第四版教材】第17章《干系人管理》（合集篇）

第17章《干系人管理》（合集篇） 1 章节内容2 管理基础3 管理过程3.1 管理的过程★★★ （22上44）3.2 管理ITTO汇总★★★ 4 过程1-识别干系人4.1 数据收集★★★4.3数据分析4.4 权力利益方格4.5 数据表现：干系人映射分析…
阅读更多...
springmvc中DispatcherServlet关键对象

springmvc中DispatcherServlet关键对象

以下代码为 spring boot 2.7.15 中自带的 spring 5.3.29 RequestMappingInfo 请求方法相关信息封装，对应的信息解析在 RequestMappingHandlerMapping 的 createRequestMappingInfo() 中实现。 对于 RequestMapping 赋值的相关信息进行解析 protected RequestMappi…
阅读更多...
零基础Linux_11(进程)进程程序替换+实现简单的shell

零基础Linux_11(进程)进程程序替换+实现简单的shell

目录 1. 进程程序替换 1.1 程序替换原理 1.2 execl 接口 1.3 execv execlp execvp 1.4 exec 调各种程序 1.5 execle 接口 2. 实现简单的shell 2.1 打印提示和获取输入 2.2 拆开输入的命令和选项 2.3 创建进程和程序替换执行命令 2.4 内建命令实现路径切换 2.5 my…
阅读更多...
创建GCP service账号并管理权限

创建GCP service账号并管理权限

列出当前GCP项目的所有service account 我们可以用gcloud 命令 gcloud iam service-accounts list gcloud iam service-accounts list DISPLAY NAME EMAIL DISABLED terraform …
阅读更多...
自动混剪多段视频、合并音频、添加文案的技巧分享

自动混剪多段视频、合并音频、添加文案的技巧分享

在如今的社交媒体时代，视频的重要性越来越被人们所重视。许多人喜欢记录生活中的美好瞬间，并将其制作成视频分享给朋友和家人。然而，对于那些拍摄了大量视频的人来说，一个一个地进行剪辑和合并可能是一项令人头痛的任务。但是&…
阅读更多...
1.6 计算机网络的性能

1.6 计算机网络的性能

思维导图： 1.6.1 计算机网络的性能指标 前言： 我的理解： 这段前言主要介绍了关于计算机网络性能的两个方面的讨论。首先，计算机网络的性能可以通过一些重要的性能指标来衡量。但除了这些指标之外，还有一些非性能特征…
阅读更多...
【计算机网络】因特网中的电子邮件

【计算机网络】因特网中的电子邮件

文章目录 简单邮件传送协议SMTP邮件访问协议POP3IMAPHTTP 参考资料 电子邮件为异步通信媒介 因特网电子邮件系统 电子邮件系统的三个构件：用户代理、邮件服务器、邮件发送和读取协议 用户代理 User Agent 即UA 电子邮件客户端软件，用户与电子邮件系统的接…
阅读更多...
代码随想录算法训练营第五十六天 | 动态规划 part 14 | 1143.最长公共子序列、1035.不相交的线、53. 最大子序和（dp）

代码随想录算法训练营第五十六天 | 动态规划 part 14 | 1143.最长公共子序列、1035.不相交的线、53. 最大子序和（dp）

目录 1143.最长公共子序列思路代码 1035.不相交的线思路代码 53. 最大子序和（dp）思路代码 1143.最长公共子序列 Leetcode 思路 本题和718. 最长重复子数组 区别在于这里不要求是连续的了，但要有相对顺序，即：“ace” …
阅读更多...
Moonbeam Ignite强势回归

Moonbeam Ignite强势回归

参与Moonbeam上最新的流动性计划 还记得新一轮的流动性激励计划吗？Moonbeam Ignite社区活动带着超过300万枚GLMR奖励来啦！体验新项目，顺便薅一把GLMR羊毛。 本次Moonbeam Ignite活动的参与项目均为第二批Moonbeam生态系统Grant资助提案中获…
阅读更多...
语义分割 Semantic Segmentation

语义分割 Semantic Segmentation

之前了解过语义分割的内容，感觉可以做好多东西，然后就抽空学习了一下，这里记录一下方便以后查阅，这篇文章可能也会随着学习的深入不断更新。 语义分割 Semantic Segmentation 一些基本概念几种语义分割算法Fully Convolutional Ne…
阅读更多...
【单片机】16-LCD1602和12864显示器

【单片机】16-LCD1602和12864显示器

1.LCD显示器相关背景 1.LCD简介 （1）显示器，常见显示器：电视，电脑 （2）LCD（Liquid Crystal Display），液晶显示器，原理介绍 （3&#xff…
阅读更多...
【分布式计算】二、架构 Architectures

【分布式计算】二、架构 Architectures

1.中心化架构（Centralized Architectures） 1.1.经典C/S模型 服务器：一个或多个进程提供服务 客户端：一个或多个进程使用服务 客户端和服务器可以在不同的机器上 客户端遵循请求/回复模型 1.2.传统三层视图 用户界面层&#x…
阅读更多...
JUC中的设计模式

JUC中的设计模式

文章目录 1. 终止模式之两阶段终止模式 1. 终止模式之两阶段终止模式 需求：用一个线程每两秒检测***状态，当不想检测时，用另一个线程将其停止 在一个线程 T1 中如何“优雅”终止线程 T2？这里的【优雅】指的是给 T2 一个料理后事…
阅读更多...
910数据结构（2019年真题）

910数据结构（2019年真题）

算法设计题 问题1 有一种排序算法叫做计数排序。这种排序算法对一个待排序的表（采用顺序存储）进行排序，并将排序结果存放到另一个新的表中。必须注意的是，表中所有待排序的关键字互不相同，计数排序算法针对表中的每个…
阅读更多...
【AI处理器组合】python实现-附ChatGPT解析

【AI处理器组合】python实现-附ChatGPT解析

1.题目 AI处理器组合 知识点数组 时间限制:1s 空间限制: 256MB 限定语言:不限 题目描述: 某公司研发了一款高性能AI处理器。每台物理设备具备8颗AI处理器，编号分别为0、1、2、3、4、5、6、7。编号0-3的处理器处于同一个链路中，编号4-7的处理器处于另外一个链路中，不通链路中…
阅读更多...
10.03

10.03

代码 #include <iostream>using namespace std; class cz { private:int num1; //实部int num2; //虚部 public:cz(){}cz(int a,int b):num1(a),num2(b){}cz(const cz &other):num1(other.num1),num2(other.num2){}~cz(){}const cz operator(const cz &othe…
阅读更多...
最新文章

Copyright @ 2022~2023