提到指标平台,很多企业将其定位为指标的管理工具,用于解决指标沉淀和口径统一管理的问题。指标管理固然重要,但如果“管、研”不能合体,指标管理平台既不改进指标的生产效率,也不能改善生产关系,指标开发、管理和消费链条中的各种深层次问题无法得到有效根治。
本文尝试从企业数据平台决策者的视角,阐释集“管、研、用”于一体的 NoETL 自动化指标平台作为数据团队的生产工具、管理工具和业务团队的效率工具,应被视作企业数据体系整体架构中必备的一环。
一、CDO 之痛#
作为企业数据平台的一号位,CDO 面临的核心挑战主要在以下几个方面:
1. 业务满意度挑战
数字化进入深水区,企业的数据使用场景从固定看板阶段进入数智化运营阶段,从管理层的宏观决策到业务一线的日常运营都深度依赖数据分析。用数需求多,变化频繁,“一事一议”的数据开发方式下,需求沟通环节耗时久且易产生信息失真,数据开发环节又包含一系列复杂的技术流程。而指标口径被锁定在需求表达和物理报表中,事前难统一,事后难治理。
需求方的体感是需求响应周期长,影响快速决策和运营策略的快速迭代;分析维度和粒度固化,很多探索性分析无法灵活开展,发现问题又难以快速下钻归因;指标口径不透明不统一,数据的可信度存疑。
2. CEO 满意度挑战
近十年来,大数据建设如火如荼地开展,很多数字化先行企业都建设了数据中台。然而近一两年来,数据中台的 ROI 被频繁质疑。Gartner 在 2024 年的分析报告(注释1)中指出,“纯技术驱动的‘大而全’的数据与分析平台(如数据中台)无法确保切实的商业回报,从而失去了利益相关者的支持。”
数据中台以数据仓库技术与生态工具为基础,其运作的基本前提是数据的物理集成,其最核心的工程方法论是 ETL。这套体系前期投入大,建设周期长,开发与运维成本高,而收益难以量化。数据平台部门最经常被 CEO 质疑的问题是,如何量化数据平台和数据团队的业务价值?如何通过数据指导业务降本增收?叠加业务部门的质疑,可谓雪上加霜。
3. 团队价值感挑战
需求多、需求急、变更频繁是常态,数据团队大部分时间都在为满足业务需求而开发报表,而每一个需求的满足都意味着数据探查、模型设计、代码编写、任务配置、数据验证、测试发布、任务运维等一系列工作。这种工作既繁重,又被动。数据工程师无法深入理解数据需求背后的业务逻辑,不能深度参与数据洞察,没有时间专注于更有技术含量的模型优化和更有业务体感的数据产品开发,只是作为需求方的“开发工具人”而存在。
快速满足业务需求还会不可避免地导致重复开发和数据冗余,既推高了存算成本,又带来了沉重的数据治理压力。数据治理的业务价值更加不显性,团队的辛苦不易获得认可。
在既有数据架构和工程体系下,ETL 像座大山压在数据团队身上,上述问题难以有效解决。因此我们需要从架构设计的角度,考虑引入 NoETL 的工具来彻底实现为数据团队减负,为业务团队提效,为企业降本。
二、NoETL 之解
1. 做轻数仓,管研一体
作为第三代指标平台,Aloudata CAN 最突出的是其 NoETL 的能力。从工作机制来看,Aloudata CAN 可以直接对接数仓 DWD 层的明细模型,使用者通过业务逻辑表达的方式进行配置化的指标定义,系统将指标定义转化为 SQL 并自动实现查询任务的编排。在大数据量、高并发的场景下,可以通过智能物化构建和查询改写的方式保障性能。
过去我们需要通过人工打宽汇总的方式保障查询性能,进而还需要进行大量任务的调度、监控和运维,而Aloudata CAN 代持了数仓汇总层和集市层的建模和 ETL 工作。这样数据团队就可以从日常报表开发中解放出来,更加专注于公共层的模型建设与优化,以及数据产品的设计与实现。系统代持 ETL 也最大程度地减少了重复开发和数据冗余,降本的同时也减轻了数据治理的压力。
正因为承载了指标的定义和开发,Aloudata CAN 可以很容易地实现指标名称和计算口径的判重校验,因此将指标口径管理从事后治理前置为事前判重,进而在指标的定义步骤中就完全规避了指标口径的二义性,根治了这项指标管理的顽疾。配合指标分类分级、指标权限和数据权限、审批、指标血缘、历史版本等丰富的功能,Aloudata CAN 可以作为企业统一的指标库,实现完善的指标管理。
2. 快速分析,深度洞察
NoETL 自动化指标平台在“做轻数仓,管研一体”之外,还有着突出的业务价值,因此更容易获得业务侧的认可与价值背书。
Aloudata CAN 将数仓的明细模型抽象成“指标”和“维度”两大要素,为数据消费者提供了一种以指标为中心的分析体验。
强大的指标定义能力确保各种业务逻辑可以配置化实现,系统生成 SQL 可以确保指标定义与分析查询需求可以被准确地表达。NoETL 自动任务编排与查询加速机制确保“定义即开发”,业务人员可以立即获取指标结果进行验证和使用。NoETL 更是 Aloudata CAN 可以对接 DWD 层明细数据进行指标定义与查询的基础,因此也赋予了业务人员基于全部维度和明细信息的分析自由。
业务人员可以通过指标和维度灵活拖拽组合的方式进行快速的分析探查,分析过程不再依赖数仓开发,也不会因为需要变更分析维度或数据粒度而中断。
Aloudata CAN 支持配置指标监控,出现了异常波动会触发主动告警,更可以进一步通过指标因子归因和多维度下钻归因迅速、清晰地呈现指标波动的根因。
而指标树则帮助管理者将宏观的战略指标层层拆解为具体的运营过程指标,直至落实到组织最基层的执行目标。既确保了战略目标与执行动作的一致性,又使能管理者通过一张图直观地掌握业务的全貌,洞察各个环节之间的内在联系和相互影响。
从业务体感来看,NoETL 自动化指标平台重塑了指标开发与协作模式,让数据消费者真正实现了自助分析的自由,数据洞察和决策迭代的周期从周下降到分钟。
3. 语义资产沉淀复用
传统 ETL 模式下,数据的语义定义(口径)和数据的物理搬运(表和数据链路)是紧耦合的,因此任何业务语义的微小调整都会导致一系列的数据管理压力。数据需求的本质是不断有新的数据语义定义在发生或调整,这本身就是数字化企业的客观标志。繁重的 ETL 任务一方面导致数据团队不堪重负,另一方面又会导致业务需求受到时效与成本的制约。
实现数据语义定义和数据物理搬运的解耦,才能将看数用数的灵活性和自由度充分开放给业务侧,即“语义向右”;同时在技术侧让数据管理的压力保持在良性的规模中,即“数据向左”。
NoETL 自动化指标平台正是因为实现了业务语义与物理数据表的解耦,帮助企业在数据资产之外实现了语义资产的统一沉淀,并且将语义资产的定义、使用和灵活变更的权利完全开放给了业务团队。
通过统一的指标体系,企业可以将业务知识沉淀在清晰、透明、实时的指标业务口径、计算逻辑、血缘、业务负责人等信息中,拉齐不同用户对同一指标的认知,面向下游各类数据应用,开放口径统一的指标服务,实现业务语义的充分复用与传承。
综上。NoETL 自动化指标平台不是可有可无的指标管理工具,而是企业数据体系的又一次重大的架构升级,标志着企业为深度数智化的管理与经营做好了数据基建的准备。
注释 1:Gartner Innovation Insight:Data Infrastructure Evolves as the Foundation of D&A Ecosystem in China https://www.gartner.com/en/documents/5498395