作者:陈剑冬 历史版本:1 最后编辑:黄倩婧 更新时间:2024-11-14 10:57
概述
数据质量是一种对数据进行质量校验,帮助企业及时发现数据问题的方式。通过事前规则配置、事中规则校验、事后分析报告的流程化方式,对数据的及时性、完整性、一致性、有效性、准确性进行多维度评估,保障企业数据质量。
数据质量核验主要分为以下规则维度:
- 完整性:用来描述信息的完整程度。例如非空约束。
- 唯一性:用来描述数据是否存在重复记录,没有实体多余出现一次。例如字段唯一性校验。
- 有效性:用来描述模型或数据是否满足用户定义的条件。通常从命名、数据类型、长度、值域、取值范围、内容规范等方面进行约束。
- 一致性:用来描述同一信息主体在不同的数据集中信息属性是否相同,各实体、属性是否符合一致性约束关系。
- 准确性:用来描述数据是否与其对应的客观实体的特征相一致(需要一个确定的和可访问的权威参考源)。
- 及时性:用来描述从业务发生到对应数据正确存储并可正常查看的时间间隔程度,也叫数据的延时时长,数据在及时性上应能尽可能贴合业务实际发生时点。
- 可信性:用来描述数据发生是否符合客观规律。