一、数据集市是什么?
1、数据集市的产生背景:
因为数据仓库的工作范围和成本比较巨大,技术部门必须对所有的以全企业的眼光对待任何一次决策分析,这样就变成了成本高、耗时高的大项目,而且这种集中式的数据处理方式往往难以快速响应各部门个性化的业务需求变化,各部门在等待数据仓库分析结果的过程中可能错失业务发展的最佳时机,同时对于一些小型的分析需求而言,调用整个数据仓库资源无疑是一种浪费,这些因素共同促使了数据集市这种更灵活、更具针对性的数据架构出现。
2、数据集市概念:
数据集市也叫数据市场,是一种更小、更集中的数据仓库,是从操作的数据和其他的为某个特殊的专业人员团体服务的数据源中收集数据的仓库。它是为特定部门或业务领域的数据组织方式,主要面向部门级业务,并且只面向某个特定的主题。
3、数据集市的组成:
1)事实表:描述数据集市中最密集的数据,是预先被连接到一起的多种类型数据的组合体。包括反映事实表建立目的的实体的主键、主键信息、连接事实表与维表的外键以及外键携带的非键值外部数据等。事实表高度索引化,以便于数据的快速读取,但数据一般不能更改,只能输入。
2)维表:围绕着事实表建立,包含非密集型数据,通过外键与事实表相连。比如产品目录、客户名单、厂商列表等维表,可从不同角度对事实表中的数据进行分析和描述。
3)详细数据:存在于星型结构中,数据在通过企业数据仓库时会进行一定程度的汇总,但在数据集市使用者看来,其数据和获取时一样详细。
4)汇总数据:分析人员通常从星型结构中的详细数据创建各种汇总数据,比如销售区域的月销售总额等。
二、数据集市特点及优缺点
1、数据集市的特点:
1)规模较小:相较于企业级数据仓库,数据集市的数据规模更小,只包含特定主题或部门相关的数据。
2)特定应用和面向部门:针对特定的业务需求和部门而设计,满足特定部门或用户群体的决策分析需求。
3)开发维护自主性高:由业务部门定义、设计和开发,并且由业务部门管理和维护。
4)快速实现与高效性:能快速实现,可快速为用户提供所需数据,提高决策效率。
5)成本效益好:购买较便宜,投资能够快速回收,对于资源有限的中小型企业或部门较为适用。
6)工具集紧密集成:通常与特定的分析工具和技术紧密集成,方便用户进行数据分析。
7)可升级性:可升级到完整的数据仓库数据结构,具有一定的扩展性。
2、数据集市的优势:
1)高效查询性能:可以提供快速、灵活的数据查询功能,帮助决策者和业务人员更快地获取所需数据,提高决策效率。
2)专业化服务:针对特定的业务领域进行设计和构建,可以更好地满足业务人员的需求,提供更专业的数据分析支持。
3)易于维护管理:通常具有较小的规模和较短的建设周期,相比大型数据仓库,更容易维护和更新,降低了管理成本和技术难度。
4)快速实现价值:能够在较短的时间内取得较好的成果,快速为企业提供决策支持,帮助企业及时应对市场变化和业务需求。
3、数据集市的缺点:
1)数据质量问题:数据通常是从数据仓库或源系统中提取、加工和整合后存储,可能存在数据不一致、数据重复等质量问题,影响分析结果的准确性。
2)数据安全问题:因为可能包含敏感数据,如财务数据、客户信息等,所以数据安全是一个重要的考虑因素,需要采取合适的安全措施,增加了安全管理的成本和复杂性。
3)数据集成问题:不同的数据集市之间可能存在数据集成的问题,需要进行数据整合和清洗,以确保数据的一致性和完整性,增加了数据管理的难度和成本。
4)数据冗余问题:由于是针对特定用户群体设计和构建,可能存在数据冗余,增加了数据存储和维护的成本。
5)可扩展性问题:通常规模较小且面向特定用户群体,当业务需求变化或业务范围扩大时,可能需要对数据集市进行重新设计和构建,增加了维护和更新的成本。
三、数据集市的分类:
数据集市有两种分类:独立型数据集市、从属型数据集市
独立型数据集市:直接从操作型环境获取数据,有自己的源数据库和 ETL(抽取、转换、加载)架构。这种数据集市集中于部门所关心的单一主题域,数据以部门为基础部署,无须考虑企业级别的信息共享与集成,但可能会存在数据不一致的问题。
从属型数据集市:数据来源于企业级数据仓库,其数据经过整合、重构、汇总后传递给从属数据集市。这种类型的数据集市可以保证数据的一致性,因为数据来源是统一的,但在查询性能等方面可能会受到数据仓库的影响。
了解更多数据仓库与数据集成关干货内容请关注>>>FineDataLink官网
免费试用、获取更多信息,点击了解更多>>>体验FDL功能