TDC 5.0:多集群统一纳管,构建一体化大数据云平台

图片

近期,星环科技数据云平台Transwarp Data Cloud(简称TDC)5.0版本正式发布,TDC5.0架构屏蔽底层多个TDH集群的差异,采用统一操作模式,新增一个多集群抽象与管理层,能够实现多集群网络互通、跨集群资源调度。

TDC 是基于云原生技术的数据云平台,星环科技对它的调度、存储、网络全部进行了优化,使用星环科技自己的调度系统、本地存储系统、虚拟网络;操作系统上一层是多集群管理;第三层是数据云管理平台,实现了多租户、多用户,包括统一的应用生命周期管理;再上一层是星环科技提供的各类大数据产品目录,包括各种数据库、数据科技平台、开发平台,以及TKH企业级知识平台;图中左和右分别是面向企业数据应用的开发和数据应用的部署托管,做到了面向企业的数据以及数据应用在一个平台上提供,因此,TDC是企业级面向数据全生命周期管理的云原生PaaS平台。

图片

TDC 5.0 版本新增多集群抽象与管理层,可在一个控制台上对所有的集群应用做生命周期的管理、统一的运维、运营和配置。TDC5.0 在多个TDH集群之上实现了多租户的功能,能在多TDH集群上建立租户,把租户和集群进行解耦。举个例子,租户1可以使用集群1、2、3、4的资源,在线查询业务本身大部分运行在集群3上,在白天忙的时候,如果集群1有资源,可以把负载调度在集群1上进行部署。

TDC 5.0 版本满足用户四大需求

第一,集群能统一管理,实现多个集群统一管理,用户只需登录一个控制台就可以看到多个集群情况,应用的运行情况、版本情况,以实现多集群应用的统一管理等。

第二,资源能统一调度,能够跨多个集群复用资源,实现多个集群的资源更均衡地使用。

第三,数据能统一管理,实现跨集群的数据灵活共享,比如Nocopy的数据共享,保证数据的新鲜性。

第四,面向新业务上线时,可提供多租户方式,快速地启动一个虚拟集群部署业务。

图片

举了个例子来说明,比如有TCOS1和TCOS2两个集群,要实现的第一个目标是在集群1负载比较重的时候,不管是存储资源还是计算资源不足都要扩容。此时,如果TCOS集群是一个新建的,甚至是一个异构的,比如满足新上的ARM集群,可以把存储资源TDDMS Tabletserver在这上面增加三个副本,HDFS可以把DataNode增加副本,对应的把Executor也在这个节点上部署起来,就好像为这个集群增加扩容一样,这样就实现了计算类的组件和存储类的组件都在资源富足的集群上进行跨集群的扩容,达到这个目的之后,TDC 能在跨集群对已有的组件进行扩容,提升集群整体使用率,也均衡了不同集群之间使用率的差别。

另外一种情况,我们希望资源的扩展是自动的,以适应不可预见的负载变化。例如,TDH集群2用于在线查询,而TDH集群3则服务于金融行业的客户案例,这些案例需要全天候24小时不间断的服务,并且对响应时间非常敏感。在白天,批处理集群的负载通常较低,而其他集群可能负载较高。在常规部署中,存储和计算资源是预设的固定数量。当某集群的负载增加时,如果其他集群的资源仍有剩余,我们可以通过设置弹性伸缩策略来优化资源分配。第一,我期望对计算执行引擎增加多少副本;第二,增加到哪个集群之上。

配置好策略后,我们可以采用两种策略来实现资源的自动扩展。第一种是基于时间的策略,例如,从早上8点开始,如果在线查询活动增多,我们可以为系统自动增加三个计算执行引擎。第二种是基于负载的策略,这会考虑整个服务器的计算引擎负载情况,包括任务队列的长度、排队情况、等待时间,以及CPU和内存的利用率。通过综合这些因素,系统可以决定是否需要增加计算资源。

根据这些策略,系统可能会在资源有空闲的集群上增加计算执行引擎。例如,如果Quark Server2和Quark Server3在特定时间点有可用资源,系统就会分别为它们增加一组计算执行引擎。这样,我们就实现了资源的弹性伸缩,能够根据实际需求动态调整计算能力。

举了个例子来说明,比如有TCOS1和TCOS2两个集群,当TCOS1集群负载过重时,需要扩容,则可以使用TCOS2集群的资源,通过增加TDDMS Tabletserver副本、HDFS DataNode和Executor来实现跨集群扩容,从而提升整体使用率,并平衡不同集群的使用。

另外一种情况,我们希望资源扩展能够自动进行,以适应不可预见的负载变化。比如,在线查询服务,需要全天候服务且对响应时间敏感,可以通过弹性伸缩策略,在其他集群资源有剩余时,自动调整资源分配。

我们有两种策略来实现资源的自动扩展:基于时间的策略,在查询活动增多的时间段,如早上8点,自动增加计算执行引擎;基于负载的策略:根据服务器的计算引擎负载、任务队列、CPU和内存利用率等因素,决定是否增加计算资源。

TDC数据云平台,一方面可承载星环科技已有的大数据产品,现在已经扩展到了数据流通交易,包括数据应用的开发,另外可以托管企业已有的开源组件。截至目前,星环科技数据云平台 TDC 已经在数十家大型企业落地,覆盖金融、政府、交通、能源,运营商等多个行业。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/1483998.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

一文搞懂Java中的双亲委派

一天正在宿舍里忙着写代码。突然,老师给我布置了一项新任务:优化他正在开发的项目中的类加载机制。我对类加载器了解不多,开始翻阅各种资料,逐渐了解了Java中的类加载器机制。尤其是当读到双亲委派模型时,脑海中豁然开…

【鸿蒙学习笔记】舜和酒店项目开发

这里写目录标题 前期准备1. 环境准备2. 开发工具准备 创建项目1. 使用 deveco-studio 创建 ShunHeHotel 项目2. 把ShunHeHotel 项目使用git进行版本控制3. 提交第1个commit,Alt0 → 输入commit message → 提交4. 查看已经提交的第一个提交5. gitcode 创建同名远程项…

微信小程序毕业设计-选课系统项目开发实战(附源码+论文)

大家好!我是程序猿老A,感谢您阅读本文,欢迎一键三连哦。 💞当前专栏:微信小程序毕业设计 精彩专栏推荐👇🏻👇🏻👇🏻 🎀 Python毕业设计…

杭州外贸网站建设 最好用wordpress模板来搭建

防护服wordpress外贸网站模板 消防服、防尘服、隔热服、防化服、防静电服、电焊服wordpress外贸网站模板。 https://www.jianzhanpress.com/?p4116 工业品wordpress外贸网站模板 机械及行业设备、五金工具、安全防护、包装、钢铁、纺织皮革等工业品wordpress外贸网站模板。…

家庭主妇人格独立问题,不断成长自己,保持人格独立

86天 周六反省 家庭主妇人格独立问题; 深刻反省自己,成长、改变自己;身体有毛病就去治疗,心上有问题就去改正;多年形成的习惯需要下功夫填坑 无论在哪个时刻我们都应该成长自己、人格独立,和爱人一起成长…

卷积神经网络【CNN】--池化层的原理详细解读

池化层(Pooling Layer)是卷积神经网络(CNN)中的一个关键组件,主要用于减少特征图(feature maps)的维度,同时保留重要的特征信息。 一、池化层的含义 池化层在卷积神经网络中扮演着降…

mac如何合并pdf文件到一个文件 macpdf合并 Mac如何合并pdf文件

在数字化的今天,pdf文件因其跨平台、格式统一等优势,已经成为工作、学习和生活中不可或缺的文件格式。然而,当我们需要合并多个pdf文件时,可能会感到有些无从下手。本文将为你详细介绍几种简单实用的合并pdf的方法,让你…

使用Tailwind CSS实现响应式面板

本文由ScriptEcho平台提供技术支持 项目地址:传送门 代码应用场景 此代码旨在用作 Web 应用程序或软件平台的仪表板界面。它提供结构化布局,包含多个部分,用于显示关键统计数据、最近活动和用户管理功能。仪表板旨在提供基本数据的全面概述…

第十四届蓝桥杯省赛C++B组H题【整数删除】题解(AC)

题目大意 依次删除长度为 n n n 的数组中的 k k k 个最小值,在删除一个数后,该数的相邻数加上它的值,输出最终数组。 解题思路 数组中删除一个数的复杂度为 O ( n ) O(n) O(n),故我们可以考虑用链表进行维护,这样…

3112. 访问消失节点的最少时间 Medium

给你一个二维数组 edges 表示一个 n 个点的无向图,其中 edges[i] [ui, vi, lengthi] 表示节点 ui 和节点 vi 之间有一条需要 lengthi 单位时间通过的无向边。 同时给你一个数组 disappear ,其中 disappear[i] 表示节点 i 从图中消失的时间点&#xff0…

【hadoop大数据集群 2】

【hadoop大数据集群 2】 文章目录 【hadoop大数据集群 2】1. 虚拟机克隆2. 时间同步3. 环境变量配置、启动集群、关闭集群 1. 虚拟机克隆 克隆之后一定要重新生成新虚拟机唯一的MAC地址和UUID等,确保新虚拟机与源虚拟机在网络拓扑中不发生冲突。 注意1.生成新的MA…

【C++】C++设计远程桌面软件的技术详解

在当今的数字化时代,远程桌面技术已成为企业远程办公、技术支持、教育培训等领域不可或缺的一部分。它允许用户从任何地点通过互联网安全地访问和控制远程计算机,就像直接坐在那台计算机前一样。C作为一种高效、灵活且性能强大的编程语言,非常…

C++ 继承详解:从基础到深入

继承是面向对象编程中最强大的功能之一,它不仅促进了代码的重用,还帮助我们构建复杂的系统。在C中,通过继承,我们可以创建一个新的类(称为派生类)来扩展现有类(基类)的功能。本文将全…

复学数据结构

1.for循环 c中的for循环和js的for循环用法一样 for (初始化表达式; 条件表达式; 递增/递减表达式) {// 循环体 } 2.数组 1)时间复杂度 算法 平均情况 最坏情况 访问 O(1) O(1) 搜索 O(n) O(n) 插入 O(n) O(n) 删除 O(n) O(n) 2)C 将高维维数组存…

10个常见的电缆载流表,值得收藏!

众所周知,电线电缆的载流是所有电工、电气人员都必须具备的基本储备,但是如果要将那么多的“数字”都记得清清楚楚,还是有一点困难的!今天咱们就做了一个电力电缆载流量对照表,速度收藏!下次参考不迷路! 1、0.6/1KV聚氯乙烯绝缘电力电缆载流量 以上电缆载流量计算条件:…

一个小问题导致,AI大模型集体翻车?

9.11大还是9.9大? 这两天大家都在说ChatGPT大模型翻车了 ! 这到底是怎么个事儿呢? 原来是最近有人想ChatGPT等大模型提了一个简单的问题: 9.11 大还是 9.9 大? 答案显而易见,然而众多大模型却给出了错误…

AI小白也能驾驭!10款免费工具让你秒变高手

市面上的AI工具种类繁多,覆盖了从创意设计到日常工作处理的各个领域。下面列出了10款实用的AI工具,它们能帮你在不同场景下提升效率,解决实际问题: Aicbo:这个在线生成工具可以根据你提供的描述生成图像,适…

鸿蒙开发error: failed to start ability

鸿蒙开发项目编译过后不能启动 项目在模拟器运行报: error: failed to start ability. Error while Launching ability 解决办法: 1,看了一些文章说是把module.json5配置文件中的"exported"由false改成true,没有解…

JavaScript基础 第五弹 学习笔记

一、什么是对象? 对象:JavaScript里的一种数据类型;可以理解为是一种无序的数据集合,但是数据是有序的数据集合。可以详细的描述某个事物 二、对象使用 1.对象声明语法 let 对象名 { } ;let 对象名 new Object() le…

Kafka(四) Consumer消费者

一,基础知识 1,消费者与消费组 每个消费者都有对应的消费组,不同消费组之间互不影响。 Partition的消息只能被一个消费组中的一个消费者所消费, 但Partition也可能被再平衡分配给新的消费者。 一个Topic的不同Partition会根据分配…