袋鼠云产品功能更新报告12期|让数据资产管理更高效

本期,我们更新和优化了数据资产平台相关功能,为您提供更高效的产品能力。以下为第12期袋鼠云产品功能更新报告,请继续阅读。

file

一、【元数据】重点更新

|01 元数据管理优化,支持配置表生命周期

之前系统中缺少一个可以基于数据源和数据库维度,批量配置数据表生命周期的入口,导致用户在处理大量数据表时会非常耗时且效率低下。

为了改善这一状况,新功能在元数据管理页面上做出调整,将展示的维度修改为“数据源--数据库--数据表”。支持基于数据源、数据库、数据表维度进行生命周期的批量配置,提高了操作的便捷性和管理效率。

file

|02 支持记录每条 SQL 解析出的血缘关系

在「数据地图」-「离线任务详情」页面,支持对解析 SQL 结果进行记录,包含 SQL 语句、解析结果(成功/失败)、解析时间,针对解析成功的可查看此条 SQL 对应的血缘关系图谱(只展示表级图谱),针对解析失败的可查看日志,以便找出问题所在并进行修正。

file

|03 丰富元数据的展示信息

本次更新中我们丰富了元数据的展示信息,提供更详尽的内容描述。

(1)「数据地图」-「表详情」页面支持在数据表名下方展示表质量评分(若该表无质量评分则不展示),支持点击数据质量评分后跳转至:数据质量>质量报告> 该数据表的质量报告,提供更详细的数据质量信息。

file

(2)表信息新增热度统计按钮,并且增加了四个新的统计数据:订阅数、使用次数、查看次数和影响表数。

(3)针对「操作记录」板块,新增了 DML 操作记录,增强了数据使用的透明度和可追溯性。

file

|04 新增支持 Doris 数据源

针对 Doris2.x 类型数据源支持元数据采集、血缘分析、数据治理(不包括小文件治理)、数据质量(所有功能均支持)、数据脱敏、数据权限(行列级权限);

离线开发模块创建的 meta Doris2.x 数据源支持自动引入并自动创建周期同步任务,简化流程提高效率。

|05 新增支持自动引入数据源的设置管理模块

针对离线开发、指标和标签模块中自动引入的数据源,新增数据源自动引入设置,可以选择是否自动创建周期同步任务/是否自动同步该数据源下的数据表信息,并且支持按照子产品、项目维度、数据源类型维度进行设置开启/关闭自动引入功能。

file

二、【数据模型】重点更新

|01 规范建表的建表联想模式配置内容扩充

(1)向导模式配置内容扩充: 针对 ADB 类型建表支持配置字段是否为主键、是否为空,精度值; 针对 Inceptor、Hive、Spark 类型建表支持配置精度值; Inceptor 支持配置事务表/非事务表,支持指定 HDFS 存储路径。 (2)当数据标准中配置了长度、精度信息时,引用标准可自动同步。 (3)支持 Hive3.x(Apache) 类型数据源的建表,建表逻辑和 Hive2.x 保持一致。 file

|02 编辑表操作对接审批中心

新增「数据模型」-数据建表/删表/编辑表操作对接审批中心,实现审批流程标准化,规范了数据管理流程。 (1)在资产平台中,针对无数据模型审批权限的用户,在进行数据表的新增、编辑、删除操作时,均需要进行审批,审批动作统一在审批中心进行操作,同时,用户可以在「我的模型」模块查看审批进度、进行撤回操作。 file (2)「审批中心」新增“数据模型申请”流程,允许审批人对申请进行通过或驳回的操作。针对数据资产中撤回的模型申请,审批中心的“待审批”模块不再展示此条申请数据,确保审批队列的实时性和准确性,提高审批效率。 file (3)历史数据迁移到审批中心进行留存。

三、【数据质量】重点更新

|01 新增支持MySQL、StarRocks数据源类型建表

用户现在可以利用MySQL、StarRocks数据源类型建表。 file

|02 数据表质量校验支持质量评分

新增支持针对单表校验的表级质量报告分析,内容包含表质量评分、质量分值变化趋势、质量评估概览、近期规则校验异常明细、近期校验结果。

同时,「质量概览」页面新增针对单表校验下各个数据表的表级质量分排名,帮助用户更直观地了解和比较不同数据表之间的质量状况。 file

|03 支持自动关联离线任务运行周期

在项目中,多个客户在运行质量规则时反馈,期望当质量任务关联了离线任务后,能够依据离线任务的时间运行质量任务,并确保两者之间能够关联。

因此本期新增功能,在单表校验-质量规则创建时,若关联了离线任务,支持选择调度周期是否自动依赖于离线任务运行。 file

|04 对接数据标准自动创建质量规则

当出现数据质量的规范性校验和数据标准设定规则基本一致的情况时,优化数据质量的规范性校验规则设计逻辑,支持与数据标准进行对接。

数据质量创建规范性校验规则时,支持对接数据标准从而自动创建质量规则。具体来说: 当用户创建新的规范性校验规则,若识别到选择的字段为绑定了标准的字段,支持选择是否引用标准规则; 如果用户选择引用标准规则,平台则会根据标准中定义的长度、精度、枚举个数、是否空值、是否重复,自动生成质量校验规则。 file

|05 质量任务定时执行可以关联自定义调度周期

此前,在配置质量规则时,无法关联自定义调度周期进行质量任务的运行,导致无法满足用户个性化配置运行周期的需求;并且在质量任务运行过程中,存在一个质量任务运行时间过长的情况,中途无法停止导致无法释放资源。为了改善这些问题,本期进行了以下优化:

(1)在质量规则创建,配置调度信息时支持关联自定义调度周期,修改模块包含新建/编辑单表校验规则、多表校验规则、规则集,查看规则详情。 file (2)支持中途停止质量任务:质量规则创建后,支持在质量任务运行过程中进行中途停止操作。有助于及时释放被占用的资源,避免不必要的等待时间,提供更加灵活和高效的服务。 file

四、【数据治理】重点更新

|01 新增支持StarRocks2.x、3.x数据源

数据质量模块新增支持StarRocks2.x、3.x数据源,包含单表校验(需要支持所有校验函数)、多表比对、规则集校验、表质量评分等质量相关的所有功能模块。

|02 小文件治理优化

小文件治理功能旨在解决大数据存储系统中由于大量小文件存在而导致的性能问题和存储效率低下,本期对小文件治理功能进行优化: 小文件治理后端处理逻辑优化; 在进行周期治理/单次治理时,支持选择 Local 模式/Remote 模式; 针对新增的 Remote 模式支持中途取消操作。

file

|03 支持健康资产分权重调整

此前资产健康分不支持用户自定义设置,为了更好地让用户对在意的数据实现针对性的管控,本期增加自定义功能,支持资产健康分权重配置,用户可以自己调整健康分的权重占比,同时展示扣分规则。 file file

五、【数据安全】重点更新

|01 数据权限管理新增权限回收功能

为了增强数据权限管理的灵活性和安全性,新增“权限回收”功能。在「数据权限管理」页面中,新增“权限回收”,列表展示每个用户自己申请且已经通过的权限列表,可通过权限回收将此用户的权限信息删除。此功能默认仅对管理员开放,确保权限管理的安全性和可控性。 file

|02 数据分级分类应用

新增大量数据分级分类应用: (1)级别管理 支持按照用户赋予等级,默认提供L1~L5共5个用户等级,管理员可通过“编辑”按钮修改用户等级。默认级别对应的开放用户等级为L1,可通过编辑操作进行修改,若有的用户没有配置用户等级信息,则无等级用户不受分级分类的权限管控;

编辑按钮增加悬浮提示优化,增加“申请权限”按钮。 file file

(2)数据地图涉及模块 在「数据地图」数据表数据预览时,列表的字段右侧新增分级分类的标识。

(3)角色管理模块 针对“数据分级—级别管理—操作”的权限,默认只给管理员开放,数开和访客无此权限;针对页面上的“申请权限”按钮,跟随用户等级的配置控制是否显示,不受角色的权限管控。

file (4)审批中心 支持管理员在审批中心对分级权限的申请进行审批。

六、【平台管理】重点更新

新增通知中心功能模块:

(1)通知配置 支持对某一接收人批量配置资产所有的通知项、通知方式、通知内容、通知人、通知频率等内容。 (2)通知记录 通知记录涵盖针对每个单独模块配置的通知信息、以及通知中心批量配置的通知信息。 file

数据资产平台其他功能优化说明

|01 【元数据】

支持TBDS_Hive 类型数据源,支持范围包括元数据同步、血缘分析、数据地图、元模型、元数据管理、元数据质量、资产盘点、数据安全(数据权限) 元数据周期同步增加同步状态“等待同步”,当周期同步任务存在待同步任务,且没有开始同步时,状态展示为“等待同步” 元数据周期同步时,可选择同步全部内容/除去表行数和存储的全部内容功能,新增支持 MySQL、Oracle、SQLServer、TiDB、Greenplum、ADB PostgreSQL、StarRocks、HashData、OushuDB 针对 Sparkthirft2.x 数据源类型,支持物化视图的查询、同步、维护 「数据地图」-「数据表详情」中针对表行数、存储大小,支持显示更新时间 「数据地图」-「表详情」页面针对字段中文名支持修改操作,支持单个修改/批量操作 针对表的业务属性为string类型的,默认值的最大长度为255字符,并且在编辑业务属性页面进行最大长度提示 数据目录支持左右拉伸,支持选择该层级的整个范围进行拖动 数据地图中移除表生命周期编辑入口,仅展示生命周期信息,用户统一在元数据管理模块对表生命周期进行编辑 支持对表负责人的权限点管理,表负责人变更为非必填属性 优化 ADB 类型血缘解析由于识别数据表名大小写不敏感导致解析失败的问题 周期同步任务创建/编辑页面,针对表行数和存储大小的同步提示信息优化 数据地图中离线任务SQL语句字段存储格式优化,把存储格式由“text”调整为“longtext”,前端悬浮展示默认展示 SQL 语句的前1024个字符,支持用户通过 SQL 下载查看 SQL 的全部信息

|02 【数据模型】

建表时新增保存的中间状态,点击“保存”按钮后可临时保存此次编辑的建表信息,并展示在列表中,可从列表进入再次编辑

|03 【数据质量】

质量规则配置支持以数据源、数据库、数据表的形式进行选择,在创建质量规则时支持选择脏数据存储库是否为默认存储数据库; 单表校验针对规范性检验规则,增加支持针对枚举值的检验,对接了数据标准自动生成的规范性校验规则中,自动生成针对“枚举值”这一规则的校验; 规则列表中支持显示当前的规则状态为未开启检测/已开启检测; 支持查看规则集详情,可记录规则集的变更历史及变更信息,版本信息包含操作人员、操作时间、保存历史导入的Excel文件; 单表校验波动检测结果取值调整为取最新值。

|04 【数据治理】

小文件治理编辑治理规则,针对分区表,查看分区时支持分页查询。

|05 【平台管理】

在移除用户时判断是否进行交接中,支持校验原用户是否有负责表(也就是数据表的负责人为原用户),若有,需要提示需要进行权限交接,交接后表负责人自动变更为转让人用户。 《行业指标体系白皮书》下载地址:https://www.dtstack.com/resources/1057?src=szsm

《数栈产品白皮书》下载地址:https://www.dtstack.com/resources/1004?src=szsm

《数据治理行业实践白皮书》下载地址:https://www.dtstack.com/resources/1001?src=szsm

想了解或咨询更多有关大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szcsdn

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/2365.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

将多个commit合并成一个commit并提交

0 Preface/foreword 1 压缩多个commit方法 1.1 git merge --squash 主分支:main 开发分支:test 当前在test分支提交了8个commits,功能已经开发完成,需要将test分支合并到main分支,但是不想在合并时候,看…

大数据新视界 -- 大数据大厂之提升 Impala 查询效率:重写查询语句的黄金法则(下)(4/30)

💖💖💖亲爱的朋友们,热烈欢迎你们来到 青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的…

我想让AI帮我生成一点不正经的东西……

前言 最近突发奇想:为啥我一定要不断得翻找各种壁纸呢?为啥就不能让AI给我生成一张专属的壁纸,上面有我喜欢的内容,这样,我这张壁纸就是独一无二的了! 说干就干,小白默默打开了AI工具…… 点我…

17、电话号码的字母组合-cangjie

题目 17、电话号码的字母组合 思路 输入处理: 接收一个字符串 digits,表示手机键盘上的数字,数字可以对应不同的字母组合。 边界检查: 如果输入字符串 digits 为空,返回一个空的结果列表。 按钮映射: 初…

ZYNQ: AXI DMA 环路测试

环境 vivado 2022 vitis 2022 简介 DMA,即Direct Memory Access,指直接存储器访问。这是一种内存访问技术,允许某些计算机内部的硬件子系统(如计算机外设)独立地直接读写系统内存,而无需中央处理器&…

动态规划 01背包(算法)

现有四个物品,小偷的背包容量为8,怎么可以偷得价值较多的物品 如: 物品编号: 1 2 3 4 物品容量: 2 3 4 5 物品价值: 3 4 5 8 记f(k,w) ,当背包容量为w,可以偷k件物品…

端到端自动驾驶模型SparseDrive论文阅读笔记

为了进一步的理解模型,方便对模型进行调试,对论文进行了详细的阅读,记录了相关的笔记,和论文阅读批注。 论文阅读批注连接: https://note.youdao.com/s/VC6mDgdZ 笔记如下图:

SAP ABAP开发学习——BAPI

目录 业务对象 概念 ​编辑业务对象浏览 BAPI BAPI的浏览 BAPI的调用 BAPI的确认和返回 BAPI的创建 MM/SD常用BAPI 附加:长文本修改 业务对象 概念 业务对象浏览 进入SWO3查看 双击BUS2012 双击下图上方红色位置可以看到BAPI方法的内容 BAPI BAPI(Busines…

【网络】自定义协议——序列化和反序列化

> 作者:დ旧言~ > 座右铭:松树千年终是朽,槿花一日自为荣。 > 目标:了解什么是序列化和分序列,并且自己能手撕网络版的计算器。 > 毒鸡汤:有些事情,总是不明白,所以我不…

linux 原子操作

首先是为什么要有 原子操作 网上的截图: 不能从C语言来看,要从汇编来看 但是实际的情况有可能是这样。 A进程没有得到想要的结果。 然后是 原子操作的 底层实现 最终会是这段代码,当然只是一个 加一的操作。 static inline void atomic_a…

[MySQL]DQL语句(二)

(一)里面我们以单表查询为基础,讲了DQL语句的基础,这篇我们来讲多表查询。 联合查询 联合查询的作用是合并结果集,也就是把两个select语句的查询结果合并到一起。合并结果集的方式有两种,分别是去重和不去重。语法格式为: SELEC…

2-143 基于matlab-GUI的脉冲响应不变法实现音频滤波功能

基于matlab-GUI的脉冲响应不变法实现音频滤波功能,输入加噪信号,通过巴特沃斯模拟滤波器脉冲响应不变法进行降噪。效果较好。程序已调通,可直接运行。 下载源程序请点链接:2-143 基于matlab-GUI的脉冲响应不变法实现音频滤波功能…

初学者如何对大模型进行微调?

粗略地说,大模型训练有四个主要阶段:预训练、有监督微调、奖励建模、强化学习。 预训练消耗的时间占据了整个训练pipeline的99%,其他三个阶段是微调阶段,更多地遵循少量 GPU 和数小时或数天的路线。预训练对于算力和数据的要求非…

MySQL—基础学习

对于数据库MySQL的基础学习与Datagrip的使用 1.MySQL概述 (1)相关概念 数据库 :存储数据的仓库 (DB) 数据库管理系统:操控和管理数据库的大型软件(DBMS) SQL:操作关系…

客户案例 | 智原科技利用Ansys多物理场分析增强3D-IC设计服务

Ansys经过认证的半导体解决方案将帮助智原科技缩短2.5D/3D-IC的设计周期,并确保设计符合信号完整性和性能目标 主要亮点 智原科技将使用Ansys RaptorX™片上电磁(EM)建模解决方案来增强2.5D/3D集成电路(IC)的先进封装设…

集成框架 -- 自定义二方包 starter

自定义starter 二方包 My-thread-pool-startermy-thread-pool-starter 整体架构 测试 MyTestAppApplication测试工程 my-test-app 结构测试项目的 pom.xml 二方包 My-thread-pool-starter POM 文件 <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi&…

Spring框架的JDBC模板技术

目录 一、JDBC模板类的使用 1.引入依赖 2.测试类 3.运行&#xff0c;查看数据库 二、使用Spring框架来管理模板类 1.配置文件 2.测试类 3.运行&#xff0c;查看数据库 三、Spring框架管理开源的连接池 1.配置开源的连接池 2.将数据库连接的信息配置到属性文件中 3.核…

头歌答案-分布式文件系统HDFS

目录 第1关&#xff1a;HDFS的基本操作 第2关&#xff1a;HDFS-JAVA接口之读取文件 第3关&#xff1a;HDFS-JAVA接口之上传文件 第4关&#xff1a;HDFS-JAVA接口之删除文件 第1关&#xff1a;HDFS的基本操作 # 1. 启动Hadoop start-all.sh # 启动Hadoop集群 # 或使用以…

mysql设置允许外部ip访问,局域网IP访问

&#xff08;支持MYSQL8版本&#xff09; 1. 登录进入mysql&#xff1b;mysql -uroot -p输入密码进入 2. 输入以下语句&#xff0c;进入mysql库&#xff0c;查看user表中root用户的访问 use mysql; select host,user from user; 3. 更新user表中root用户域属性&#xff0c…

深度学习基础(2024-11-02更新到图像尺寸变换 与 裁剪)

1. 名词解释 FFN FFN &#xff1a; Feedforward Neural Network&#xff0c;前馈神经网络馈神经网络是一种基本的神经网络架构&#xff0c;也称为多层感知器&#xff08;Multilayer Perceptron&#xff0c;MLP&#xff09;FFN 一般主要是包括多个全连接层(FC)的网络&#xff…