作者:陈剑冬  历史版本:1  最后编辑:黄倩婧  更新时间:2024-11-14 10:57

概述

数据质量是一种对数据进行质量校验,帮助企业及时发现数据问题的方式。通过事前规则配置、事中规则校验、事后分析报告的流程化方式,对数据的及时性、完整性、一致性、有效性、准确性进行多维度评估,保障企业数据质量。

数据质量核验主要分为以下规则维度:

  • 完整性:用来描述信息的完整程度。例如非空约束。
  • 唯一性:用来描述数据是否存在重复记录,没有实体多余出现一次。例如字段唯一性校验。
  • 有效性:用来描述模型或数据是否满足用户定义的条件。通常从命名、数据类型、长度、值域、取值范围、内容规范等方面进行约束。
  • 一致性:用来描述同一信息主体在不同的数据集中信息属性是否相同,各实体、属性是否符合一致性约束关系。
  • 准确性:用来描述数据是否与其对应的客观实体的特征相一致(需要一个确定的和可访问的权威参考源)。
  • 及时性:用来描述从业务发生到对应数据正确存储并可正常查看的时间间隔程度,也叫数据的延时时长,数据在及时性上应能尽可能贴合业务实际发生时点。
  • 可信性:用来描述数据发生是否符合客观规律。

功能菜单

  • 数据标准:保障数据定义和使用的一致性、准确性和完整性的规范性约束。
    • 标准管理:在该菜单中制定、发布和删除标准。
    • 标准审核:制定数据标准后,所有需要发布和废止的标准都经由指定人员审核。
  • 质量规则库:通过将数据规则定义与物理数据绑定,评估并验证与数据源关联的特定条件。
  • 数据核检任务:从多个方面对原始数据进行审查和核对,并生成记录和对应的质量报告。
  • 问题整改管理:针对核检出的问题数据创建工单并指定负责人进行整改。
    • 问题记录:每个核检规则核检出来的问题数据,都会在问题记录中展示。
    • 待办工单:问题记录需要创建工单并指定负责人进行处理,在工单未被处理时,会在待办工单中展示(仅会展示负责人为当前账号的工单)。
    • 工单列表:创建的所有问题工单都会在工单列表中显示(仅会展示负责人为当前账号的工单)。
    • 工单统计:在工单统计中可以查看所有工单的统计分析图表。
    • 告警记录:查看所有质量核检任务的告警信息。