数据质量管理落地实施流程方案（增强版）

适用对象：数据治理专员、数据开发、质量分析师
技术依赖：元数据平台、规则引擎、调度系统（如 DolphinScheduler）、工单系统
核心原则：规则驱动、自动校验、问题闭环、持续优化
目标：3个月内实现核心表质量评分 ≥90%，问题闭环率 ≥95%，重大问题（P0/P1）24小时内响应

🧭 总体流程图（5大阶段）

[阶段1] 质量需求准备（治理前必做）
       ↓
[阶段2] 质量规则绑定与调度配置
       ↓
[阶段3] 质量检查执行与结果记录
       ↓
[阶段4] 问题分级告警与工单生成
       ↓
[阶段5] 问题闭环与体系优化（反哺元数据/规则）

[阶段1] 质量需求准备（治理前必做）
       ↓
[阶段2] 质量规则绑定与调度配置
       ↓
[阶段3] 质量检查执行与结果记录
       ↓
[阶段4] 问题分级告警与工单生成
       ↓
[阶段5] 问题闭环与体系优化（反哺元数据/规则）

📌 阶段1：质量需求准备（治理前必做）

✅ 输入

• 《01元数据管理.docx》中的核心字段清单（如 company_name, status_code）
• 《02数据治理规则管理.docx》中的已绑定规则（如“非空”“枚举值合规”）
• 《团队建模规范.md》中的监控指标（空值率 >5%、波动 >±30%）
• 业务SLA要求（如“销售导出数据必须100%有效”）

✅ 输出

• 《质量检查范围清单.xlsx》
• 《质量指标优先级矩阵.xlsx》
• 《严重等级定义表.xlsx》（P0~P3）

🛠 操作步骤

1. 划定检查范围：
   • 必检：DWD/DWT/ADS 核心表（如 dwd_company_base_full）
   • 按业务域优先级：企业资质 > 客户触达 > 其他
2. 映射质量指标：
   • 完整性 → 主键非空率、字段空值率
   • 有效性 → 枚举值合规率、格式合规率
   • 一致性 → 跨表主外键匹配率
3. 定义严重等级：
   • P0（阻断）：主键重复、码值映射缺失（影响下游报表）
   • P1（严重）：空值率 >10%、枚举值不合规
   • P2（一般）：空值率 5%~10%
   • P3（提示）：时效延迟 >1小时

⚠️ 避坑指南：
❌ 不要对所有表全量检查 → 资源浪费、告警疲劳
✅ 聚焦“影响业务决策”的核心资产

🧱 阶段2：质量规则绑定与调度配置

✅ 目标

• 将已配置的治理规则绑定到调度任务
• 设置执行周期、责任人、告警方式

🔧 操作步骤（4步法）

💡 增强点：

• 利用《建模工具包》中的《DWD七步法 Checklist》自动识别“需监控字段”
• 敏感字段自动附加“脱敏后格式校验”规则

🚀 阶段3：质量检查执行与结果记录

✅ 目标

• 自动执行 SQL/正则校验
• 记录通过率、问题示例、耗时

🔧 操作步骤

1. 执行规则：
   • 调用规则引擎执行 rule_expression（如 status_code IN ('ACTIVE', 'INVALID')）
2. 记录结果：
   • 写入《03数据质量管理.docx》中的 调度执行结果表
   • 示例：{"field": "status_code", "bad_value": "DELETED", "count": 12}
3. 计算评分：
   • 按维度（完整性/有效性/一致性）计算得分（0~100）
   • 写入 质量评分表

📌 关键检查：

• 码值字段是否 100% 合规？
• 主键重复率是否 >0%？（Doris UNIQUE KEY 应为 0）

🔔 阶段4：问题分级告警与工单生成

✅ 目标

• 自动推送告警
• 生成可跟踪的质量工单

🔧 操作步骤

1. 分级告警：
   • P0：企业微信 + 短信（立即通知）
   • P1：企业微信（2小时内处理）
   • P2/P3：邮件 + 质量看板
2. 工单生成：
   • 自动创建《问题跟踪表》记录
   • 字段：issue_type=FORMAT_ERROR, root_cause=RULE_DEFECT, assignee=李四
3. 看板展示：
   • 质量大屏：按业务域展示评分趋势、问题分布

✅ 交付物：

• 《质量告警日志.xlsx》
• 质量工单（集成 Jira/钉钉/企业微信）

🔄 阶段5：问题闭环与体系优化

✅ 闭环触发条件

• 工单状态 = “已解决”
• 问题重复出现 ≥2 次

🔧 优化流程

1. 根因分析（来自《03数据质量管理》）：
   • METADATA_DEFECT → 更新字段定义
   • RULE_DEFECT → 优化规则表达式
   • ETL_ERROR → 修复清洗逻辑
   • BUSINESS_CHANGE → 新增枚举值
2. 反哺治理体系：
   • 更新元数据：修正 data_type 或 definition
   • 更新规则：新增/修改 rule_expression
   • 更新建模规范：如“所有状态字段必须绑定枚举值规则”
3. 效果验证：
   • 下次调度验证问题是否消失
   • 更新质量评分，关闭工单

✅ 交付物：

• 《质量优化记录表.xlsx》
• 月度质量报告（含评分提升、问题下降趋势）

💡 总结：新人也能做好质量管理

• 有流程：5阶段、4步法，步步清晰
• 有模板：检查清单、优先级矩阵、优化记录，直接套用
• 有联动：与元数据、规则、建模无缝衔接
• 有重点：先核心表，后边缘；先自动校验，后人工干预
• 有闭环：从问题发现 → 工单 → 修复 → 优化 → 预防

📣 口诀（新人必背）：
质量源于规则，自动校验是基础；
问题分级要精准，工单闭环防复发；
根因分析反哺元数据，治理体系才稳固！

你可以将此方案保存为 《数据质量管理落地实施流程方案（增强版）.md》，作为《03数据质量管理.docx》的配套执行手册，与你的建模流程方案并列使用，形成完整的 “建模-元数据-规则-质量”四维落地体系。