TapData 发布官方性能测试报告,针对各流行数据源,在多项指标中表现拔群

近日,TapData 官方发布了最新的性能测试报告,该报告详细展示了 TapData v3.5.13 在各种数据源下的性能表现,包括全量同步、增量同步、读写延迟等关键性能指标。

随着企业对实时数据集成和处理能力需求的提升,TapData 凭借其高效、稳定的系统架构,逐渐成为行业中的领先解决方案。为了帮助大家更好地了解 TapData 的性能表现,我们着手推进了多场景、多维度的性能测试。通过这些测试,TapData 展现出卓越的性能和处理能力,能够轻松应对大规模数据集成的复杂场景。

本次测试涵盖了多种主流数据源,包括 Oracle、MySQL、Kafka、MongoDB、PostgreSQL 等,具体涉及以下几个方面:

  1. 全量同步性能:测试 TapData 在处理大量数据时的吞吐量及效率,例如 Oracle 到 ClickHouse 的全量同步吞吐达到了 250k RPS,而 Kafka 到 ClickHouse 的吞吐表现高达 210k RPS。
  2. 增量同步性能:评估 TapData 的实时数据同步能力,尤其是在高并发和数据变化频繁的情况下。测试显示,TapData 的增量同步在 MongoDB 环境下,增量读取的吞吐量达到 19k RPS,延迟保持在 1 秒以内,极大保障了实时数据更新的需求。
  3. 读写延迟及处理能力:报告对 TapData 在不同数据库间的读写延迟进行了详细分析。以 Oracle 数据源为例,增量同步的延迟在 LogMiner 模式下保持在 3 秒内,而直接日志解析模式下的增量读取吞吐量达到 62k RPS。

除此之外,测试还评估了 TapData 的高并发处理能力和系统的扩展性表现。通过对处理器和引擎的优化,TapData 在 1KB 数据场景下实现了高达 450k RPS 的引擎性能。同时,测试报告还揭示了在复杂数据处理场景下,TapData 系统如何保持稳定高效的运行表现。

测试说明

测试范围包括同步引擎自身的性能测试,不同数据库之间同步数据的速度和延迟,以及增加处理器后的性能表现,包括:

  1. 评估同步引擎的极限吞吐
  2. 以 Oracle 为例,测试 TapData 对传统 SQL 类数据源的全量读取吞吐,增量读取延迟,与全量、增量(混合写入) 吞吐性能
  3. 以 ClickHouse 为例,测试 TapData 对数仓的读写性能,包括全量吞吐与增量吞吐
  4. 以 MongoDB 为例,测试 TapData 对 NoSQL 数据库的全量读取吞吐,增量读取延迟,与全量/增量(混合写入)吞吐性能
  5. 以 Kafka 为例,测试 Tapdata 对消息队列的全量读取吞吐与写入吞吐性能
  6. 评估常见数据源,包括 MySQL、PostgreSQL 等的同步性能,包括做源时的全量读取吞吐,增量吞吐与延迟,做目标时的全量写入吞吐,增量(混合)写入吞吐
  7. 评估常见处理器的处理速度
  8. 评估多字段时性能表现情况

结果概览

本次性能测试的关键结果如下:
在这里插入图片描述

*备注:

  • TapData 有两个 Oracle 连接器,有两种不同的 CDC(变更数据捕获) 实现,分别为“Direct”和“Logminer”
  • Kafka 连接器不适用 CDC,因为 Kafka 是一个数据流平台而不是数据库
  • ClickHouse 不支持 CDC,并且对更新的支持有限
  • 单位以每秒打点为单位,其中每条记录约有 50 个字段,共 1kb 的数据
  • 全量同步是指从源端读取所有数据并插入到目标端的初始过程
  • 增量是指 CDC 捕获增量插入、更新和删除,然后相应地更新目标

端到端完全同步性能结果

  • Kafka 到 ClickHouse(全量同步):210k
  • Oracle 到 ClickHouse(全量同步):210k
  • Oracle 到 Kafka(全量同步):62k

本次报告的发布旨在评估 TapData 在数据复制能力上的整体性能表现,并提供一个基准测试报告,供有需要的用户做需求选型使用。而这份报告不仅为正在使用 TapData 的用户提供参考,还为计划引入实时数据集成平台方案或工具的用户提供了清晰的性能参照。通过该报告,您可以了解在大数据环境下 TapData 的实际性能表现,并为您的业务需求选择最合适的解决方案。

TapData 将持续致力于推动数据集成技术的创新,为客户提供更强大的数据管理和处理能力。

完整报告已上传至 TapData 官网,欢迎大家查阅。如有任何问题或建议,请随时与我们联系!

推荐阅读】:

  • 制造业数字化转型创新思路 |《数智新时代制造业数字化创新实践白皮书》上线!
  • TapData 信创数据源 | 国产信创数据库 OceanBase数据同步指南,加速国产化进程,推进自主创新建设
  • TapData 信创数据源 | 国产信创数据库 TiDB数据迁移指南,加速国产化进程,推进自主创新建设
  • TapData 信创数据源 |国产信创数据库达梦(Dameng)数据迁移指南,加速国产化进程,推进自主创新建设
  • ETL vs. ELT:数据集成的最佳实践是什么?

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/1437.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

小红书发布IP与实际不一样?揭秘背后的原因与应对策略

在小红书这个充满活力的社交平台上,用户们经常分享着各自的生活点滴、购物心得、美食体验等丰富内容。然而,有时你可能会发现,小红书上显示的IP地址与你的实际所在地并不一致,这不禁让人心性疑惑。那么,小红书发布IP与…

Java8 新特性 —— Stream API 详解

本文涉及到的知识点有Lambda表达式以及函数式接口,有不了解的小伙伴可以先学习上一篇文章: Java8 新特性 —— Lambda 表达式、函数接口以及方法引用详解 文章目录 引言Stream API 的使用1、创建 Stream2、中间操作(1)筛选与切片…

Linux历史命令history增加执行时间显示

Centos系统默认历史命令显示如下 为了更好的溯源,获取执行命令的准确时间,需要增加一些配置 设置环境变量 vim /etc/profile 在最下面添加以下环境配置 export HISTTIMEFORMAT"%Y-%m-%d %H:%M:%S " 立即刷新该环境变量 source /etc/pro…

【测试平台】【前端VUE】工具页面学习记录

背景: 这个我4年半以前刚接手记录,测试工具页面一般比较简单,不需要复杂东西,剩下就是维护。 工程安装 npm install 1.执行nmp install前先确认一下自己的node版本,这个项目需要是node12才可以,否则会出…

mysq-B+Treel(一)

介绍 MySQL是一个关系型数据库管理系统,由瑞典 MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的RDBMS (Relational Database Management System,关系…

解决使用netstat查看端口显示FIN_WAIT的问题

解决使用netstat查看端口显示FIN_WAIT的问题 1. 理解`FIN_WAIT`状态2. 检查应用程序3. 检查网络延迟和稳定性4. 更新和修补系统5. 调整TCP参数6. 使用更详细的工具进行分析7. 咨询开发者或技术支持8. 定期监控和评估结论在使用 netstat查看网络连接状态时,如果发现大量连接处…

微服务实战系列之玩转Docker(十八)

导览 前言Q:如何保障容器云环境下etcd集群的数据安全一、安全机制身份认证必学必看1. 启动参数2. 授权命令3. 开启认证 二、应用实践1. 访问容器2. 查看认证是否开启3. 查看是否已创建用户4. 创建用户5. 开启认证6. 验证是否开启7. 验证数据 结语系列回顾 前言 etc…

畅享云边大模型!火山引擎 x 地瓜机器人,大模型网关能力免费开放

前期,火山引擎官宣与地瓜机器人达成了合作,实现了火山引擎边缘智能-大模型网关与地瓜机器人软硬件通用底座“云-边-端”的全面打通,拓展机器人的无限智能化潜能。地瓜 RDK X5 机器人开发套件集成了火山引擎边缘智能-大模型网关能力&#xff0…

计算机性能监控体系:Quark2.0

一、背景 在过去的IT日常支持场景中,因为服务的用户、终端、系统等等因业务而异,往往会遇到以下类似这些问题或需求: IT工程师定位终端问题跨越不同的平台或系统,低效繁琐用户想要获取一些个人相关的IT环境信息,只能…

【新闻转载】“假冒 LockBit”来袭:勒索软件借助 AWS S3 偷窃数据,威胁升级

关键要点 Trend团队发现了一些利用 Amazon S3(简单存储服务)传输加速功能的 Golang 勒索软件样本,用于窃取受害者的文件并上传至攻击者控制的 S3 存储桶。 这些样本中硬编码的 Amazon Web Services (AWS) 凭证被用于追踪与恶意活动关联的 AW…

python之数据结构与算法(数据结构篇)-- 栈

一、栈的概念 这里我们不去了解教科书上面的“教条概念”,其实“栈”的概念和古代的时候的“客栈”是有异曲同工之妙的。 在这里我们把客栈看成“栈”,旅客看作“栈元素” 1.当旅客进来住店时,叫做“入栈”; 2.当旅客退房时&#…

【银河麒麟高级服务器操作系统】虚拟机lvm分区丢失现象分析及解决建议

了解更多银河麒麟操作系统全新产品,请点击访问 麒麟软件产品专区:https://product.kylinos.cn 开发者专区:https://developer.kylinos.cn 文档中心:https://documentkylinos.cn 环境描述 系统环境 物理机/虚拟机/云/容器 虚拟…

论文速读:完全测试时域适应(Test-time Adaptation)目标检测(CVPR2024)

原文标题:Fully Test-time Adaptation for Object Detection 中文标题:完全测试时间适应目标检测 通过百度网盘分享的文件:Fully_Test-time_Adaptation_for_Obje... 链接: 百度网盘 请输入提取码 提取码:yrvz 代码地址…

蔚来汽车 AI产品经理面经

问的问题都比较深入,要求有项目基础,祝好🥰 1、自我介绍 2、你的产品上线后有没有关注用户反馈? 3、给客户交付时,如果产品能力还没ready,你会怎么办? 4、你们团队需求一般来源于哪里&#…

国内短剧源码短剧系统搭建小程序部署H5、APP打造短剧平台

​在当今的互联网时代,短剧作为一种新兴的娱乐形式,受到了越来越多用户的喜爱。为了提供更好的用户体验和满足用户需求,一个好的短剧系统需要具备多元化的功能和优质的界面设计。 本文将介绍国内短剧源码短剧系统搭建小程序部署H5、APP所需的…

深入浅出了解AI教育发展与落地应用情况

2023年,是生成式AI能力涌现的一年,通用大模型是其中的主旋律。经过一年的发展,通用大模型格局已初步形成,生成式AI也从能力展示走向应用落地。进入2024年,对生成式AI的讨论和实践也都转向如何赋能产业。相比于通用大模型,进入产业内的大模型需要的是对行业的Know-How,以…

‘随机失活’:人工智能真的在模仿人脑吗?

序言:过拟合是人工智能训练中的一个常见问题,类似于一位“读死书”的学生,他只能机械地背诵书本内容,缺乏灵活性,一旦题目稍有变化便无法理解。为了解决这一问题,科学家们从人脑的学习方式中获得启发&#…

【机器学习】揭秘XGboost:高效梯度提升算法的实践与应用

目录 🍔 XGBoost 原理 1.1 目标函数确定和树的复杂度介绍 1.2 XGBoost目标函数的推导 1.3 泰勒公式展开 1.4 化简目标函数 1.5 问题再次转换 1.6 对叶子结点求导 1.7 XGBoost的回归树构建方法 🍔 XGBoost API 2.1 通用参数 2.2 Booster 参数 …

Transformer的Pytorch实现【1】

使用Pytorch手把手搭建一个Transformer网络结构并完成一个小型翻译任务。 首先,对Transformer结构进行拆解,Transformer由编码器和解码器(Encoder-Decoder)组成,编码器由Multi-Head Attention Feed-Forward Network组…

【MySQL】存储引擎

MySQL采用的是可插拔的存储引擎架构,也就是说在运行期间可以动态的加载或卸载存储引擎;查看当前服务器存储引擎的方法show engines,其中重点关注两个字段即可,其一是Support-表示当前服务器是否支持,其二是它的数值yes…