DCMM数据质量：技术指标、业务指标

在DCMM（数据管理能力成熟度评估模型）的数据质量章节中，技术指标和业务指标是衡量数据质量的两类核心维度，分别从技术实现和业务价值的角度对数据质量进行评估。以下是具体的分类和说明：

一、技术指标

技术指标关注数据本身的客观属性和技术层面的合规性，通常由数据管理团队或技术部门定义，与具体业务场景无关。常见技术指标包括：

1. 完整性（Completeness）
   • 数据是否存在缺失（如空值、字段未填充）。
   • 示例：客户信息表中“手机号”字段的填充率是否达到100%。
2. 准确性（Accuracy）
   • 数据是否与真实值或权威数据源一致。
   • 示例：订单金额是否与财务系统中的实际交易金额一致。
3. 一致性（Consistency）
   • 数据在不同系统、表或时间点是否逻辑一致。
   • 示例：CRM系统中的客户数量是否与数据仓库中的统计结果一致。
4. 唯一性（Uniqueness）
   • 数据是否存在重复记录。
   • 示例：同一身份证号是否在系统中重复注册。
5. 及时性（Timeliness）
   • 数据是否在预期时间内更新或交付。
   • 示例：T+1的销售数据是否每天准时同步到报表系统。
6. 有效性（Validity）
   • 数据是否符合预定义的格式、类型或范围。
   • 示例：邮箱字段是否包含“@”符号，日期字段是否为合法格式。

二、业务指标

业务指标从业务需求出发，衡量数据对业务目标的支持程度，通常由业务部门参与制定。这些指标与具体业务场景强相关，例如：

1. 业务规则合规性
   • 数据是否满足业务规则或流程要求。
   • 示例：贷款申请表中“年收入”是否大于业务规定的最低阈值。
2. 关键指标可信度
   • 业务KPI依赖的数据是否可靠。
   • 示例：财务报表中的“毛利率”计算是否基于准确的成本和收入数据。
3. 数据关联性
   • 跨业务域的数据逻辑是否自洽。
   • 示例：供应链系统中的库存数量是否与销售系统的出库记录匹配。
4. 业务时效性
   • 数据是否满足业务决策的时间要求。
   • 示例：实时风控系统是否能在一分钟内获取最新的用户信用评分。
5. 数据价值密度
   • 数据中有效信息占比（如无效日志、噪声数据的比例）。
   • 示例：用户行为日志中是否有足够比例的有效点击事件。
6. 风险性指标
   • 数据是否可能引发业务风险（如合规风险、欺诈风险）。
   • 示例：客户身份证号是否通过公安部实名认证校验。

三、校验规则与方法

根据上述指标，需制定具体的校验规则和方法：

• 技术校验：通过SQL脚本、数据质量工具（如Great Expectations）、正则表达式等实现自动化检查。
• 业务校验：通过业务规则引擎、人工审核或跨部门协同验证（如财务与业务对账）。

总结

• 技术指标：偏向数据本身的客观属性，通用性强，适用于所有数据域。
• 业务指标：与业务场景深度绑定，反映数据对业务目标的支撑能力。
• 关联性：技术指标是业务指标的基础（如“准确性”是“KPI可信度”的前提），两者需结合使用。

通过这两类指标的协同，DCMM框架能够全面评估数据质量，确保数据既符合技术标准，又能满足业务需求。