打造透明、高效的分布式系统：通过 EMQX ECP 集成实现链路追踪功能

链路追踪作为一种用于监控和观察分布式系统中请求流动和性能的技术，在现代微服务架构中扮演着重要角色。

在复杂的分布式环境中，它可以记录并可视化跨多个服务与组件的完整请求路径，并提供每个服务节点上的执行时间，帮助开发人员清晰地掌握请求走向、识别性能瓶颈。

在出现故障或错误时，链路追踪能够提供详细的信息，帮助开发人员快速定位问题的根源，加速故障排查过程。通过分析链路追踪数据，团队可以基于实际使用情况优化服务、调整资源配置，从而进行容量规划和设计决策。

本文将介绍 EMQX ECP 和 Datalayers 如何通过 OpenTelemetry Collector 集成以实现链路追踪功能，基于 ECP 通过 Datalayers 的 REST API 查询，可以实现对链路追踪数据的检索和展示，辅助用户对分布式系统的监控和诊断。

产品介绍

EMQX ECP：是一款面向工业 4.0 工业互联数据平台，能够满足工业场景大规模数据采集、处理和存储分析的需求，提供边缘服务的快速部署、远程操作和集中管理等功能，助力工业领域数据互联互通，以数据 + AI 驱动生产监测、控制和决策，实现智能化生产，提高效率、质量和可持续性。

Datalayers：是澜图未来（成都）数据科技有限公司开发的一款为工业物联网、车联网、能源行业设计的分布式多模态、超融合数据库，具备时序数据存储、多模融合、键值存储、存算分离、读写分离、自适应压缩、原生 SQL、边云同步和云原生等特点，支持边缘向云端的数据同步，并针对受限设备进行优化。

链路追踪的实现

数据写入

EMQX ECP 相关的链路追踪服务 NeuronEX 和 EMQX 的 Trace 数据都支持通过 otlp protocol 写入到 otlp 协议的服务端，通过 OpenTelemetry Collector 的 otlp receivers 插件，可以开启 http 和 grpc 两种协议的接收器，OpenTelemetry Collector 收到 trace 数据后，通过各种 Exporter 插件可以将数据写入不同的后端数据库中。

由于 Datalayers 也支持 InfluxDB 行协议，可以通过 OpenTelemetry Collector 的 InfluxDB Exporter 插件与 Datalayers 实现集成。

通过 OpenTelemetry Collector 将链路追踪数据存入 Datalayers

通过 OpenTelemetry Collector 将链路追踪数据存入 Datalayers

OpenTelemetry Collector 官方提供了 Core、 Contrib 两个不同的版本。 其中，前者只包基础的插件， 后者包含了所有的插件。Core 版本中没有 influxdb exporter 插件，而 Contrib 版本中有。用户也可以按需自己构建镜像，只包含自己需要的插件，建议生产环境采用这种方式， 参考：Building a custom collector。

由于 Datalayers 仅支持 InfluxDB v1.x API 行协议， 因此需要在 OpenTelemetry Collector 的 InfluxDB Exporter 插件配置中开启 v1_compatibility 相关配置。通过 span_dimensions 可以自定义行协议中的标签， 同时也是 Datalayers 表的联合索引字段， InfluxDB Exporter 默认强制 span_dimensions 会加上 trace_id, span_id， 和我们自己配置的 span_dimensions 共同构成协议中的标签。

InfluxDB Exporter 所有配置如下所示:
The following configuration options are supported:

  • endpoint (required) HTTP/S destination for line protocol
    • if path is set to root (/) or is unspecified, it will be changed to /api/v2/write.
  • timeout (default = 5s) Timeout for requests
  • headers: (optional) additional headers attached to each HTTP request
    • header User-Agent is OpenTelemetry -> Influx by default
    • if token (below) is set, then header Authorization will overridden with the given token
  • org (required) Name of InfluxDB organization that owns the destination bucket
  • bucket (required) name of InfluxDB bucket to which signals will be written
  • token (optional) The authentication token for InfluxDB
  • v1_compatibility (optional) Options for exporting to InfluxDB v1.x
    • enabled (optional) Use InfluxDB v1.x API if enabled
    • db (required if enabled) Name of the InfluxDB database to which signals will be written
    • username (optional) Basic auth username for authenticating with InfluxDB v1.x
    • password (optional) Basic auth password for authenticating with InfluxDB v1.x
  • span_dimensions (default = service.name), span.name) Span attributes to use as dimensions (InfluxDB tags)
  • log_record_dimensions (default = service.name) Log Record attributes to use as dimensions (InfluxDB tags)
  • payload_max_lines (default = 10_000) Maximum number of lines allowed per HTTP POST request
  • payload_max_bytes (default = 10_000_000) Maximum number of bytes allowed per HTTP POST request
  • metrics_schema (default = telegraf-prometheus-v1) The chosen metrics schema to write; must be one of:
    • telegraf-prometheus-v1
    • telegraf-prometheus-v2
  • sending_queue details here
    • enabled (default = true)
    • num_consumers (default = 10) The number of consumers from the queue
    • queue_size (default = 1000) Maximum number of batches allowed in queue at a given time
  • retry_on_failure details here
    • enabled (default = true)
    • initial_interval (default = 5s) Time to wait after the first failure before retrying
    • max_interval (default = 30s) Upper bound on backoff interval
    • max_elapsed_time (default = 120s) Maximum amount of time (including retries) spent trying to send a request/batch

详见: influxdb-exporter configuration

最简 OpenTelemetry Collector 配置示例

receivers:otlp:protocols:grpc:endpoint: 0.0.0.0:4317http:endpoint: 0.0.0.0:4318
exporters:influxdb:endpoint: http://172.31.104.77:8361v1_compatibility:enabled: truedb: demousername: adminpassword: public
service:extensions: []pipelines:traces:receivers: [otlp]processors: []exporters: [influxdb]

配置中 Exporter 的 endpoint 需要替换成自己的 Datalayers 地址。由于当前 Datalayers 默认只支持 v1 版本的 InfluxDB Line Protocol，所以需要将 v1_compatibility 设置为 true。要使用的数据库名称需要提前在 Datalayers 中创建。

在 receivers 中选择一个协议（比如 otlp），和协议对应的 endpoint 配置。 从 receivers 中收到的数据会被 processor 处理，这里没有配置，所以直接发送到 exporters，即为 Datalayers。当 Datalayers 收到数据后，会根据配置的数据库名称，将数据写入到对应的数据库中， 如果没有对应的表， 则会自动创建(如果关闭了 Datalayers 的自动创建表功能， 则需要提前在 Datalayers 中创建表)。

数据查询

Datalayers 使用 SQL 作为查询语言，SQL 是一种相对简单的语言，易于学习和使用。它使用类似自然语言的语法，使得用户可以快速上手，从而减少了学习成本。

可以通过 REST API 或者 Arrow Flight SQL 进行查询。其中 REST API 是基于 HTTP 的，而 Arrow Flight SQL 是基于 gRPC 的，性能更好，并且提供了常见语言的 SDK 。ECP 目前使用的是 REST API 查询， 后期可能会切换到性能更好的 Arrow Flight SQL方式。此外，Datalayers 还支持按时间窗口进行聚合查询等功能， 此处不多做介绍， 感兴趣可以查阅官方文档。

image.png

ECP 链路追踪查询界面

上图展示了 EMQX ECP 的链路追踪 trace_id 列表， 表格中列出了多个请求的追踪信息，包括它们的trace_id、开始时间、服务名称、Span 名称和总耗时。点开后还可以查阅每个 Trace 中所有的 Span， Span 之间的先后顺序， Span 的所有属性， 每个 Span 的耗时等等信息， 这些数据可以帮助开发者分析请求的处理效率，识别性能瓶颈，以及调试系统中的问题。

总结

至此，本文完整介绍了 EMQX ECP 和 Datalayers 通过 OpenTelemetry Collector 集成实现链路追踪功能。将 EMQX ECP 的链路追踪数据以 InfluxDB 行协议方式写入 Datalayers，并结合 Datalayers 的 REST API 和 Arrow Flight SQL 两种查询方式，检索和展示链路追踪数据，实现对分布式系统的监控和诊断。

未来，EMQX ECP 还会进一步拓展存储和查询指标数据的功能，敬请期待。

版权声明： 本文为 EMQ 原创，转载请注明出处。
原文链接：https://www.emqx.com/zh/blog/emqx-ecp-datalayers-and-open-telemetry-collector

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/15043.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

sql数据库-聚合函数-DQL（类似Excel函数）

sql数据库-聚合函数-DQL（类似Excel函数）

目录 聚合函数介绍 语法 举例 统计表中的所有女性员工 统计表中工作地点在北京的员工 聚合函数介绍 常用的聚合函数 函数功能count统计字段数量max最大值min最小值avg平均值sum求和 语法 SELECT 聚合函数(字段列表) FROM 表名; 举例 统计表中的所有女性员工 sele…
阅读更多...
【C语言刷力扣】58.最后一个单词的长度

【C语言刷力扣】58.最后一个单词的长度

题目： 解题思路; 倒序遍历，先将末尾的空格过滤，再统计至第一个空格。 条件i > 0 放在前面先判断，条件s[i] ! 放后面，反之遇到单字符会溢出。 时间复杂度： 空间复杂度： int lengthOfLas…
阅读更多...
【数据运营】数据资产私域运营：探索并实现数据价值变现的新途径

【数据运营】数据资产私域运营：探索并实现数据价值变现的新途径

随着数字化浪潮的席卷，数据已成为现代企业的核心竞争力之一。然而，仅仅拥有数据并不足以在激烈的市场竞争中脱颖而出，关键在于如何有效地管理和运营这些数据资产，将其转化为实实在在的商业价值。本文将从数据资产私域运营的定义、…
阅读更多...
360天擎终端安全管理 远程控制客户端终端进行的安全防护/终端管理：病毒查杀/插件管理/系统修复/漏洞管理等操作

360天擎终端安全管理 远程控制客户端终端进行的安全防护/终端管理：病毒查杀/插件管理/系统修复/漏洞管理等操作

文章目录 目录 文章目录 使用流程 小结 概要使用流程技术细节小结 概要 如果首页上出现只有5台。但是公司实际上有20台电脑。还有很多未进行安装360天擎的用户主机。我们下发指示通告内容。这个的话需要一个一个排查才能知道谁没有安装。可以查看终端管理页面看到主机IP知道已…
阅读更多...
数字人直播骗局大起底！源码部署究竟有哪些优势？

数字人直播骗局大起底！源码部署究竟有哪些优势？

随着数字人直播的应用频率不断上升，越来越多的人开始关注到了它所蕴含着的广阔前景和巨大收益潜力，于是，纷纷打听起了入局相关的事宜。而这也就让许多不法分子盯上了这一项目，并炮制出了各式各样的数字人直播骗局来收割韭菜。 其中…
阅读更多...
OpenAI官方发布：利用ChatGPT提升写作的12条指南

OpenAI官方发布：利用ChatGPT提升写作的12条指南

近日，OpenAI官方发布了学生如何利用ChatGPT提升写作的12条指南，值得深入研究学习。 在如今AIGC应用爆发增长的时间点，如何充分利用生成式AI工具，如ChatGPT，有效切快速的提升写作和学习能力，成为每个学生、…
阅读更多...
探索大型语言模型（LLMs）能否在不泄露私人信息的情况下联合其他大型语言模型共同解决问题

探索大型语言模型（LLMs）能否在不泄露私人信息的情况下联合其他大型语言模型共同解决问题

概述 谷歌的 Gemini Ultra（2023 年）和 OpenAI 的 GPT-4 （2023 年）等大规模语言模型在许多任务中都表现出了令人印象深刻的性能。然而，这些模型不仅推理成本高昂，而且运行于数据中心，而数据中心…
阅读更多...
CloudDM Team Docker 版安装指南

CloudDM Team Docker 版安装指南

CloudDM Team 是一款全新的国产自研数据库管理工具，在《全新的企业级数据库数据安全管控平台》 一文中全面介绍了其核心功能和特点。本文将会介绍如何在 Ubuntu Linux 中安装并初步使用这款数据库管理工具。 准备工作 安装 Docker CloudDM Team 安装过程中需要用…
阅读更多...
第22天Linux下常用工具

第22天Linux下常用工具

目录 第 1 章 vim 编辑器 1.1 vim 安装 1.2 vim 的使用 1.3 vim 的 4 种工作模式 第 2 章 gcc 编译器 2.1 编译流程（以 main.c 为例） 2.2 gcc 的常用参数 2.3 进行多模块编译 第 3 章 动态库静态库的制作 3.1 库的作用 3.2 库的分类与特点 …
阅读更多...
/// ts中的三斜线指令 | 前端

/// ts中的三斜线指令 | 前端

第一次看到注意到这行代码，不知道的还以为是注释呢，查了资料才知道这是typescript中的三斜线指令，那有什么作用呢？ 1. 这行代码是TypeScript中的一个三斜线指令（Triple-Slash Directive），用于…
阅读更多...
Schnorr 和 BLS 算法详解

Schnorr 和 BLS 算法详解

Schnorr 签名和 BLS 签名在区块链技术中都有着重要的应用。它们各自具备独特的优势，使其在不同的区块链应用场景中得到广泛使用。 Schnorr签名算法 Schnorr签名算法是一种基于离散对数问题的数字签名算法， 由德国密码学家 克劳斯施诺尔 （Cl…
阅读更多...
C++类和对象 - 拷贝构造, 赋值重载

C++类和对象 - 拷贝构造, 赋值重载

拷贝构造函数 拷贝构造作用：一个已经存在的对象去初始化另一个要创建的对象 日常写代码中会出现如下场景: class Data { public:Data(int year, int month, int day) // 拷贝构造函数{this->_year year;this->_month month;this->_day day;} priva…
阅读更多...
为什么咨询公司需要项目管理软件：7大关键优势

为什么咨询公司需要项目管理软件：7大关键优势

在咨询公司中，同时管理多个项目、客户和目标并非易事，尤其需要兼顾长期发展。项目管理软件就成为了各类项目型企业（包括咨询公司）的重要工具。 对于顾问来说，项目管理软件可以简化工作流程、增强客户关系并提高效率。本…
阅读更多...
3大核心技术，免费开源的智能合同审查分析软件的技术介绍

3大核心技术，免费开源的智能合同审查分析软件的技术介绍

本智能合同审查分析系统致力于解决法律领域中复杂文档与信息处理的难题，采用最先进的深度学习与自然语言处理（NLP）技术，提供精准的实体识别与关系抽取功能。系统基于BERT、GPT等主流模型，实现自动识别和关联法律文档中…
阅读更多...
GitCode光引计划有奖征文大赛

GitCode光引计划有奖征文大赛

一、活动介绍 GitCode平台汇聚了众多杰出的G-Star项目，它们犹如璀璨星辰，用各自的故事和成就，为后来者照亮前行的道路。我们诚邀广大开发者、项目维护者及爱好者，共同撰写并分享项目在GitCode平台上托管的体验，挖掘平…
阅读更多...
UE4 Cook 从UAT传递参数给UE4Editor

UE4 Cook 从UAT传递参数给UE4Editor

需求 一句Cook的命令如下： ${EnginePath}/Engine/Build/BatchFiles/RunUAT.sh BuildCookRun -project${ClientPath}/${ProjectName}.uproject -noP4 -platformIOS -cooksinglepackage -client -clientconfig${CookConfig} -iterate -skipbuild -nocompile -NoMutex…
阅读更多...
api驱动的云服务是什么意思？

api驱动的云服务是什么意思？

API驱动的云服务是指利用API技术来驱动和提供云服务的模式。在这种模式下，云服务提供商会公开一系列的API接口，允许开发者或应用程序通过调用这些API来实现对云服务的访问和操作。API驱动的云服务是现代云计算技术的重要组成部分，API驱动的云…
阅读更多...
Springboot 启动端口占用如何解决

Springboot 启动端口占用如何解决

Springboot 启动端口占用如何解决 1、报错信息如下 *************************** APPLICATION FAILED TO START ***************************Description:Web server failed to start. Port 9010 was already in use.Action:Identify and stop the process thats listening o…
阅读更多...
【Rust调用Windows API】杀掉指定进程（包括兄弟进程、子进程、父进程）

【Rust调用Windows API】杀掉指定进程（包括兄弟进程、子进程、父进程）

前言 前面一篇文章写了使用Rust调用Windows API 获取正在运行的全部进程信息 ，本篇实现杀掉指定进程。 通过标准库可以管理当前进程创建的子进程，要 kill 掉子进程也比较容易，这里不赘述了，主要实现通过调用Windows API来杀掉兄…
阅读更多...
基于Python的外卖点餐系统

基于Python的外卖点餐系统

作者：计算机学姐 开发技术：SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等，“文末源码”。 专栏推荐：前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码 精品专栏：…
阅读更多...
最新文章

Copyright @ 2022~2023