• 课本内容
  • 13.1 引言
    • 语境图
      • 图13-1 语境关系图：数据质量
    • 业务驱动因素
      • 1）提高组织数据价值和数据利用的机会。2）降低低质量数据导致的风险和成本。3）提高组织效率和生产力。4）保护和提高组织的声誉。
        • 提机会、降成本、增效率、强声誉
      • 许多成本均与低质量数据有关
        • 1）无法正确开具发票。2）增加客服电话量，降低解决问题的能力。3）因错失商业机会造成收入损失。4）影响并购后的整合进展。5）增加受欺诈的风险。6）由错误数据驱动的错误业务决策造成损失。7）因缺乏良好信誉而导致业务损失。
      • 高质量数据本身并不是目的，它只是组织获取成功的一种手段
    • 目标和原则
      • 目标
        • 1）根据数据消费者的需求，开发一种受管理的方法，使数据适合要求。2）定义数据质量控制的标准和规范，并作为整个数据生命周期的一部分。3）定义和实施测量、监控和报告数据质量水平的过程。
      • 原则
        • 重要性
          • 数据质量管理应关注对企业及其客户最重要的数据，改进的优先顺序应根据数据的重要性以及数据不正确时的风险水平来判定。
        • 全生命周期管理
        • 预防
          • 数据质量方案的重点应放在预防数据错误和降低数据可用性等情形上，不应放在简单的纠正记录上。
        • 根因修正
        • 治理
        • 标准驱动
        • 客观测量和透明度
        • 嵌入业务流程
        • 系统强制执行
          • 系统所有者必须让系统强制执行数据质量要求
        • 与服务水平关联
          • 数据质量报告和问题管理应纳入服务水平协议（SLA）
    • 基本概念
      • 数据质量
        • “数据质量”一词既指高质量数据的相关特征，也指用于衡量或改进 数据质量的过程
        • 满足消费者的数据应用需求，就可称之为高质量的。反之就是低质量的
      • 关键数据
        • 评估因素
          • 1）监管报告。2）财务报告。3）商业政策。4）持续经营。5）商业战略，尤其是差异化竞争战略。
      • 数据质量维度
        • 数据质量维度提供了 定义数据质量要求的一组词汇，通过这些维度定义可以评估初始数据质 量和持续改进的成效
        • Strong-Wang框架（4个大类15个指标）
          • 内在数据质量
            • 1）准确性。2）客观性。3）可信度。4）信誉度。
          • 场景数据质量
            • 1）增值性。2）关联性。3）及时性。4）完整性。5）适量性。
          • 表达数据质量
            • 1）可解释性。2）易理解性。3）表达一致性。4）简洁性。
          • 访问数据质量
            • 1）可访问性。2）访问安全性。
        • Thomas Redman（20多个维度）
          • 核心思想
            • 将一个数据项定义为“可表示的三元组”：一个实体属性域与值的集合。维度可以与数据的任何组成部分相关联：模型（实体和属性）及其值。
          • 数据模型
            • 内容
              • ①数据关联性。②获取价值的能力。③定义清晰性。
            • 详细程度
              • ①特征描述颗粒度
          • 属性域的精准度
            • 构成
              • ①自然性。每个属性在现实世界中应该有一个简单的对应物，且每个属性都应承载一个关于实体的单一事实。②可识别性。每个实体都应能与其他实体区分开来。③同一性。④最小必要冗余性。
            • 一致性
              • ①模型各组成部分的语义一致性。②跨实体类型属性的结构一致性
            • 应变性
              • ①健壮性。②灵活性。
            • 数据值
              • ①准确性。②完备性。③时效性（Currency）。④一致性。
            • 数据表达
              • ①适当性。②可解释性。③可移植性。④格式精确性。⑤格式灵活性。⑥表达空值的能力。⑦有效利用存储。⑧数据的物理实例与其格式一致。
        • Larry English（两大类别）
          • 固有质量特征
            • 1）定义的一致性。2）值域的完备性。3）有效性或业务规则一致性。4）数据源的准确性。5）反映现实的准确性。6）精确性。7）非冗余性。8）冗余或分布数据的等效性。9）冗余或分布数据的并发性。
          • 实用质量特征
            • 1）可访问性。2）及时性。3）语境清晰性。4）可用性。5）多源数据的可整合性。6）适当性或事实完整性。
        • DAMA UK发布了一份白皮书，描述了数据质量的6个核心维度：
          • 1）完备性。存储数据量与潜在数据量的百分比。2）唯一性。在满足对象识别的基础上不应多次记录实体实例（事物）。3）及时性。数据从要求的时间点起代表现实的程度。4）有效性。如数据符合其定义的语法（格式、类型、范围），则数据有效。5）准确性。数据正确描述所描述的“真实世界”对象或事件的程度。6）一致性。比较事物多种表述与定义的差异。
        • 常见的数据维度
          • 维度包括一些可以客观衡量的特征（完整性、有效性、格式一致性），以及依赖于情境或主观解释的其他特征（可用性、 可靠性、声誉）。无论使用什么名称，维度都集中在是否有足够的数据 （完整性），数据是否正确（准确度、有效性），数据是否符合要求 （一致性、完整性、唯一性），数据是否最新（及时性）、可访问性、 可用性和安全性
          • 常见的数据质量维度
            • 常见的数据质量维度续表
        • 数据质量与维度的关系
          • 图13-2 数据质量维度之间的关系
      • 数据质量和元数据
      • 数据质量ISO标准
        • ISO 8000
          • 1）数据质量规划。2）数据质量控制。 3）数据质量保证。 4）数据质量改进。
      • 数据质量改进生命周期
        • 休哈特图
          • 计划（Plan）阶段
            • 数据质量团队评估已知问题的范围、影响和优先级，并评估解决这些问题的备选方案。
          • 执行（Do）阶段。
            • 数据质量团队负责努力解决引起问题的根本原因，并做出对持续监控数据的计划。
          • 检查（Check）阶段。
            • 这一阶段包括积极监控按要求测量的数据质量。只要数据满足定义的质量阈值，就不需要采取其他行动，这个过程将处于控制之中并能满足商业需求。
          • 处理（Act）阶段
            • 这一阶段是指处理和解决新出现的数据质量问题的活动。随着问题原因的评估和解决方案的提出，循环将重新开始。
      • 数据质量业务规则类型
        • 业务规则描述业务应该如何在内部运行，以便成功地与外部世界保持一致。
          • 一些简单常见的业务规则类型有
            • 定义一致性
              • 确认对数据定义的理解相同，并在整个组织过程中得到实现和正确使用
          • 数值存在和记录完备性
            • 定义数值缺失的情况是否可接受的规则。
          • 格式符合性
            • 按指定模式分配给数据元素的值，如设置电话号码格式的标准。
          • 值域匹配性
            • 指定数据元素的赋值须包含在某数据值域的枚举值中，如州字段的合理取值为2个字符的美国邮政编码。
          • 范围一致性
            • 数据元素赋值必须在定义的数字、词典或时间范围内，如数字范围大于0、小于100。
          • 映射一致性
            • 表示分配给数据元素的值，必须对应于映射到其他等效对应值域中的选择的值。
          • 一致性规则
            • 指根据这些属性的实际值，在两个（或多个）属性之间关系的条件判定。
          • 准确性验证
            • 将数据值与记录系统或其他验证来源（如从供应商处购买的营销数据）中的相应值进行比较，以验证值是否匹配。
          • 唯一性验证
            • 指定哪些实体必须具有唯一表达，以及每个表达的真实世界对象有且仅有一个记录的规则。
          • 及时性验证
            • 表明与数据可访问性和可用性预期相关特征的规则
      • 数据质量问题的常见原因
        • 缺乏领导力导致的问题
          • 将信息作为业务资产进行管理的障碍和根本原因
            • 图13-4 将信息作为业务资产进行管理的障碍和根本原因
          • 有效管理数据质量的障碍
            • 领导和员工缺乏意识
            • 缺乏治理
            • 缺乏领导力和管理能力
            • 难以证明改进的合理性
            • 测量价值的工具不合适或不起作用
        • 数据输入过程引起的问题
          • 数据输入接口问题
          • 列表条目放置
          • 字段重载
            • 随着时间的推移，有些组织会出于不同的商业目的重复字段，而不是更改数据模型和用户界面。
          • 培训问题
            • 即使控制和编辑到位，缺乏过程知识也会导致错误的数据输入。
          • 业务流程变更
            • 业务流程随着时间的推移而变化，在变化过程中引入了新的业务规则和数据质量要求。但是，这些业务规则更改并不总能被及时或全面地纳入系统。
          • 业务流程执行混乱
            • 通过混乱的流程创建的数据很可能不一致。
        • 数据处理功能引起的问题
          • 有关数据源的错误假设
          • 过时的业务规则
          • 变更的数据结构
            • 源系统可以在不通知下游消费者（包括人和系统）或没有足够时间让下游消费者响应变更的情况下变更结构。
        • 系统设计引起的问题
          • 未能执行参照完整性
            • 参照完整性对于确保应用程序或系统级别的高质量数据是必要的。如果没有强制执行参照完整性，或者关闭了验证（如为了提高响应时间），则有可能出现各种数据质量问题
              • 产生破坏唯一性约束的重复数据
              • 既可以包含，又可以排除在某些报表中的孤儿数据，导致同样的计算生成多个值
              • 由于参照完整性要求已还原或更改，无法升级
              • 由于丢失的数据被分配为默认值而导致数据准确性
          • 未执行唯一性约束
          • 编码不准确和分歧
            • 如果数据映射或格式不正确，或处理数据的规则不准确，处理过的数据就会出现质量问题，如计算错误、数据被链接或分配到不匹配的字段、键或者关系等
          • 数据模型不准确
          • 字段重载
          • 时间数据不匹配
            • 在没有统一数据字典的情况下，多个系统可能会采用不同的日期格式或时间，当不同源系统之间的数据同步时，反过来会导致数据不匹配和数据丢失。
          • 主数据管理薄弱
          • 数据复制
            • 有害的数据复制分为两种
              • 单源-多个本地实例。
                • 例如，同一个客户的信息保存在同一数据库中多个类似或内容相同名字不同的表中。如果没有系统的、特定的知识，很难知道哪一个实例最适合使用。
            • 多源-单一本地实例。
              • 具有多个权威来源或记录系统的数据实例。例如，来自多个销售点系统的单个客户实例。处理此类数据时，可能会产生重复的临时存储区域，当把其处理为永久性的生产数据区时，合并规则决定哪个“源”具有更高的优先级。
        • 解决问题引起的问题
      • 数据剖析
        • 数据剖析（Data Profiling）是一种用于检查数据和评估质量的数据分析形式
          • 分析人员可以使用这些统计信息识别数据内容和结构中的模式
            • 1）空值数。标识空值存在，并检查是否允许空值。2）最大/最小值。识别异常值，如负值。3）最大/最小长度。确定具有特定长度要求的字段的异常值或无效值。4）单个列值的频率分布。能够评估合理性（如交易的国家代码分布、频繁或不经常发生的值的检查，以及用默认值填充的记录百分比）。5）数据类型和格式。识别不符合格式要求的水平，以及意外格式识别（如小数位数、嵌入空格、样本值）。
        • 虽然剖析是理解数据的有效方法，但只是提高数据质量的第一步，它使组织能够识别潜在的问题。解决问题还需要其他形式的分析，包括业务流程分析、数据血缘分析和更深入的数据分析，这些分析有助于隔离出问题的根本原因。
      • 数据质量和数据处理
        • 数据清理
          • 数据清理或数据清洗，可以通过数据转换使其符合数据标准和域规则。清理包括检测和纠正数据错误，使数据质量达到可接受的水平
        • 数据增强
          • 数据增强或丰富是给数据集添加属性以提高其质量和可用性的过程
            • 示例
              • 时间戳
                • 改进数据的一种方法是记录数据项创建、修改或停用的日期和时间，这有助于跟踪历史数据事件。如果在数据中发现了问题，时间戳能使分析人员定位到发生问题的时间范围，在根本原因分析中将非常有价值。
            • 审计数据
            • 参考词汇表
            • 语境信息
              • 添加如位置、环境或访问方法等上下文语境信息，并标记数据以供审查和分析。
            • 地理信息
            • 人口统计信息
            • 心理信息
              • 用于按特定行为、习惯或偏好对目标人群进行细分的数据，如产品和品牌偏好、组织成员资格、休闲活动、通勤交通方式、购物时间偏好等。
            • 评估信息
      • 数据解析和格式化
        • 数据解析是使用预先确定的规则来解释其内容或值的分析过程
      • 数据转换与标准化
        • 在正常处理过程中，可以通过触发数据规则将数据转换为目标体系 结构可读取的格式
• 13.2 活动
  • 定义高质量数据
  • 定义数据质量战略
    • 采纳或开发一个框架及方法论将有助于指导战略和开展战术，同时提供衡量进展和影响的方法。
      • 框架应包含以下方法
        • 1）了解并优先考虑业务需求。2）确定满足业务需求的关键数据。3）根据业务需求定义业务规则和数据质量标准。4）根据预期评估数据。5）分享调查结果，并从利益相关方那里获得反馈。6）优先处理和管理问题。7）确定并优先考虑改进机会。8）测量、监控和报告数据质量。9）管理通过数据质量流程生成的元数据。10）将数据质量控制集成到业务和技术流程中。
  • 识别关键数据和业务规则
    • 并非所有的数据都同等重要。数据质量管理工作应首先关注组织中最重要的数据：如果数据质量更高，将为组织及其客户提供更多的价值
    • 数据质量改进工作从主数据开始，根据定义，主数据是任何组织中最重要的数据之一
    • 数据质量指标（完整性、一致性、有效性等）
  • 执行初始数据质量评估
    • 一旦确定最关键的业务需求和支持它们的数据，数据质量评估的最重要部分就是实际查看数据、查询数据，以了解数据内容和关系，以及将实际数据与规则和期望进行比较。
    • 初始数据质量评估的目标是了解数据，以便定义可操作的改进计划
      • 步骤包括
        • 1）定义评估的目标。这些目标将推动工作进展。2）确定要评估的数据。重点应放在一个小的数据集，甚至一个数据元素，或一个特定的数据质量问题上。3）识别数据的用途和数据的使用者。4）利用待评估的数据识别已知风险，包括数据问题对组织过程的潜在影响。5）根据已知和建议的规则检查数据。6）记录不一致的级别和问题类型。7）根据初步发现进行额外的深入分析，以便：①量化结果。②根据业务影响优化问题。③提出关于数据问题根本原因的假设。8）与数据管理专员、领域专家和数据消费者会面，确认问题和优先级。9）使用调查结果作为规划的基础。①解决问题，最好是找到问题的根本原因。②控制和改进处理流程，以防止问题重复发生。③持续控制和汇报。
  • 识别改进方向并确定优先排序
  • 定义数据质量改进目标
    • 初步评估获得的知识为特定的数据质量提升目标奠定了基础
    • 根据以下内容确定改进的投资回报率
      • 1）受影响数据的关键性（重要性排序）。2）受影响的数据量。3）数据的龄期。4）受问题影响的业务流程数量和类型。5）受问题影响的消费者、客户、供应商或员工数量。6）与问题相关的风险。7）纠正根本原因的成本。8）潜在的工作成本。
  • 开发和部署数据质量操作
    • 概要
      • 为了保证数据质量，应围绕数据质量方案制订一个实施计 划，允许团队管理数据质量规则和标准、监控数据与规则的持续一致 性、识别和管理数据质量问题，并报告质量水平
    • 管理数据质量规则
      • 剖析和分析数据的过程将帮助组织发现（或反向工程）业务和数据 质量规则
      • 预先定义规则
        • 1）对数据质量特征设定明确的期望。2）提供防止引入数据问题的系统编辑和控制要求。3）向供应商和其他外部方提供数据质量要求。4）为正在进行的数据质量测量和报告创建基础。
    • 测量和监控数据质量
      • 进行业务数据质量度量的原因有两方面，它们同等重要
        • 1）向数据消费者通报质量水平。2）管理业务或技术流程，改变引入的变更风险。
      • 数据质量值指标例子
        • 表13-2 数据质量值指标例子
          • 可以通过流程或批处理的方式对数据质量规则的一致性进行自动监控，在三个粒度级别上进行度量：数据元素值、数据实例或记录、数据集。
      • 数据质量监控技术
        • 表13-3 数据质量监控技术
    • 制定管理数据问题的操作过程
      • 诊断问题
        • 目的是审查数据质量事件的症状，跟踪相关数据的血缘，确定问题及其来源，并查明问题的根本原因。
      • 制订补救方案
      • 解决问题
        • 该过程应详细说明分析人员如何：
          • 1）评估替代方案的相对成本和优点。2）推荐计划中的一个备选方案。3）提供开发和实施该解决方案的计划。4）实施该解决方案。
        • 进行有效的跟踪需要做到以下几点：
          • 1）标准化数据质量问题和活动。
          • 2）提供数据问题的分配过程。
          • 3）管理问题升级过程。
          • 4）管理数据质量解决方案工作流。
    • 制定数据质量服务水平协议
      • 数据质量服务水平协议（SLA）规定了组织对每个系统中数据质量问题进行响应和补救的期望。
    • 编写数据质量报告
      • 报告应着重于
        • 数据质量评分卡。
        • 数据质量趋势。
        • 服务水平协议（SLA）指标
        • 数据质量问题管理
        • 数据质量团队与治理政策的一致性
        • IT和业务团队对数据质量政策的一致性
        • 改善项目带来的积极影响
• 13.3 工具
  • 数据剖析工具
    • 剖析工具对于数据发现工作特别重要，通过它能够实现大型数据集的评估。剖析工具随着数据可视化能力的提高而增强，将有助于发现的进程
  • 数据查询工具
  • 建模和ETL工具
    • 用于数据建模和创建ETL过程的工具对数据质量有直接影响。
  • 数据质量规则模板
    • 规则模板给予分析人员机会捕获客户对数据的期望，还有助于弥合业务团队和技术团队之间的交流鸿沟。
  • 元数据存储库
• 13.4 方法
  • 预防措施
    • 创建高质量数据的最佳方法是防止低质量数据进入组织。
      • 预防方法
        • 1）建立数据输入控制。创建数据输入规则，防止无效或不准确的数据进入系统。
        • 2）培训数据生产者。确保上游系统的员工了解其数据对下游用户的影响，对数据的准确性和完整性进行激励或基础评估，让其不仅仅追求录入速度。
        • 3）定义和执行规则。创建一个“数据防火墙”，一个包含用于检查数据质量是否良好的所有业务数据质量规则的表，然后用于应用程序（如数据仓库）中。
        • 4）要求数据供应商提供高质量数据。
        • 5）实施数据治理和管理制度。
        • 6）制定正式的变更控制。
  • 纠正措施
    • 问题发生并被检测到之后，实施纠正措施。数据质量问题应系统地、从根本上解决，最大限度地降低纠正措施的成本和风险。
      • 自动修正
      • 人工检查修正
      • 人工修正
  • 质量检查和审核代码模块
  • 有效的数据质量指标
    • 管理数据质量的一个重要组成部分是开发度量指标，以告知数据消费者对其数据使用非常重要的质量特征。
      • 可度量性
        • 数据质量指标必须是可度量的——它必须是可被量化的东西。
      • 业务相关性
        • 测量需要与数据消费者相关。如果指标不能与业务操作或性能的某些方面相关，那么它的价值是有限的。
      • 可接受性
        • 数据质量指标构成了数据质量的业务需求，根据已确定的指标进行量化提供了数据质量级别的有力证据。
      • 问责/管理制度
        • 关键利益相关方（如业务所有者和数据管理专员）应理解和审核指标。关键利益相关方（如业务所有者和数据管理专员）应理解和审核指标。
      • 可控制性
        • 指标应反映业务的可控方面
      • 趋势分析
        • 指标使组织能够在一段时间内测量数据质量改进的情况
  • 统计过程控制
    • 统计过程控制（SPC）是一种通过分析过程输入、输出或步骤的变化测量值来管理过程的方法。
  • 根本原因分析
    • 导致问题产生的根本原因一旦消失，问题本身也会消失。根本原因分析是一个理解导致问题发生的因素及其作用原理的过程。
    • 常见的根因分析技术包括帕累托分析（80/20规则）、鱼骨图分析、跟踪和追踪、过程分析以及五个为什么等
• 13.5 实施指南
  • 概要
    • 一个经典的学术讨论是，自上而下还是自下而上地实施数据质量更好。通常情况下，混合方法最有效——自上而下持续地提供支持和资源，自下而上地发现实际存在的问题并逐步解决。
    • 数据质量改善实施计划
      • 有关数据价值和低质量数据成本的指标
      • IT/业务交互的操作模型
        • 业务人员了解数据的意义及其重要性，IT数据管理人员了解数据存储的位置和方式，因此他们能很好地合作将数据质量的定义转换为查询命令或代码，以识别不符合要求的特定记录
      • 项目执行方式的变化
      • 对业务流程的更改
        • 提升数据质量取决于改进生成数据的流程。团队应能够评估数据质量，并对影响数据质量的非技术（以及技术）过程的变更提出建议。
      • 为补救和改进项目提供资金
      • 为数据质量运营提供资金
  • 就绪评估/风险评估
    • 评估
      • 管理层承诺将数据作为战略资产进行管理
        • 要获得管理层对数据管理的支持，就要明确高级管理人员能否理解数据在组织中扮演的角色。高级管理人员在多大程度上认识到数据对战略目标的价值？
      • 组织对数据质量的当前理解
        • 大多数组织在开始其质量改进之旅之前，他们通常表示了解质量数据差的障碍和痛点。了解这些很重要，低质量数据可以直接与组织的负面影响关联在一起，包括直接和间接成本；对痛点的理解也有助于确定和优先考虑改进项目。
      • 数据的实际情况
        • 以客观的方式描述导致痛点的数据情况是改进数据的第一步。通过剖析和分析，以及对已知问题和痛点的量化来度量和描述数据。如果数据质量团队不知道数据的实际情况，那么将很难确定优先级并抓住改进机会采取行动。
      • 与数据创建、处理或使用相关的风险
        • 识别数据可能出现的问题以及质量不佳的数据对组织造成的潜在损害，为降低风险提供了基础。
      • 可扩展数据质量监控的文化和技术就绪
        • 数据质量可能受到业务和技术流程的负面影响。提高数据质量取决于业务和IT团队之间的合作，如果业务和IT团队之间的关系不是协作的状态，将很难取得进展。
  • 组织与文化变革
• 13.6 数据质量和数据治理
  • 概要
    • 治理组织可以通过以下方式加快数据质量方案的工作
      • 1）设定优先级。2）确定和协调有权参与各种数据质量相关决定和相关活动的人。3）制定和维护数据质量标准。4）报告企业范围内数据质量的相关测量。5）提供有助于员工参与的指导。6）建立知识共享的沟通机制。7）制定和应用数据质量和合规政策。8）监控和报告绩效。9）共享数据质量检查结果，以提高认识，确定改进机会，并就改进达成共识。10）解决变化和冲突，提供方向性指导。
  • 数据质量制度
    • 数据质量工作应有匹配的数据治理制度的支持
  • 度量指标
    • 投资回报
      • 关于改进工作的成本与改进数据质量的好处的声明。
    • 质量水平
      • 测量一个数据集内或多个数据集之间的错误或不满足甚至违反需求情况的数量和比率
    • 数据质量趋势
      • 随着时间的推移（趋势），针对阈值和目标的质量改进，或各阶段的质量事件
    • 数据问题管理指标
      • ①按数据质量指标对问题分类与计数。②各业务职能部门及其问题状态（已解决、未解决、已升级）。③按优先级和严重程度对问题排序。④解决问题的时间
    • 服务水平的一致性
      • 包括负责人员在内的组织单位对数据质量评估项目干预过程的一致性
    • 数据质量计划示意图
      • 现状和扩展路线图
• 考察分值&知识点
  • 考察分值
    • 10分