数据治理

数据质量监控

数据质量实时监控方案 1. 整体架构 2. 技术指标与校验规则 技术指标校验规则校验方法实时实现示例完整性关键字段非空率≥99%统计字段空值占比,触发阈值告警Flink SQL:COUNT(CASE WHEN field IS NULL THE...
继续阅读
数据治理

DCMM数据质量:技术指标、业务指标

在DCMM(数据管理能力成熟度评估模型)的数据质量章节中,技术指标和业务指标是衡量数据质量的两类核心维度,分别从技术实现和业务价值的角度对数据质量进行评估。以下是具体的分类和说明: 一、技术指标 技术指标关注数据本身的客观属性和技术层面的合规性,通常由数据管...
继续阅读
数据治理

对元数据进行精细化管理和建模

在DCMM(数据管理能力成熟度评估模型)框架中,“在某个业务领域对元数据分类并设计每一类元数据的元模型” 这一要求,本质上是指导组织针对具体业务场景(如财务、供应链、人力资源等),对元数据进行精细化管理和建模。以下是分步骤的详细解释: 1. 核心概念再明...
继续阅读
数据治理

元数据与元模型

1. 关键概念拆解 (1)元数据(Metadata) 即"描述数据的数据",例如: 数据库表的字段名称、数据类型、业务含义 数据报表的生成规则、负责人、更新频率 (2)元模型(Meta-Model) 定义:描述元数据属性及其关系的...
继续阅读
数据治理

DCMM数据分布过程描述及关系梳理示例

1. 数据分布过程描述 1.1 数据分布梳理流程 组织级数据模型分析:基于已定义的组织级数据模型,识别关键数据实体和属性 业务流程映射:将业务流程活动与数据实体进行关联 分布关系定义:明确数据与流程、组织机构、系统间的分布关系 可视化呈现...
继续阅读
数据治理

主题域模型与概念模型区别

在数据建模中,概念模型(Conceptual Model)与主题域模型(Subject Area Model)的关系容易混淆。以下是清晰易懂的解释: 1. 关键区别:抽象层级不同 模型类型抽象层级核心目标图形化表现内容主题域模型最高层级(宏观)划分数据大类(...
继续阅读
数据治理

主题域模型-概念模型-逻辑模型-物理模型的理解

理解数据建模从主题域模型→概念模型→逻辑模型→物理模型的演进过程,可以类比为城市规划的四个阶段。通过这个比喻,结合具体示例,可以轻松掌握各层模型的核心要点。 1. 主题域模型:划分城市功能区 比喻:就像城市规划先划分「商业区」「住宅区」「工业区」等大板块,主...
继续阅读
数据治理

DCMM 制度体系与权责框架

一、基础制度体系(7大核心制度) 制度名称核心条款责任主体《数据管理办法》1. 数据资产定义与范围(结构化/非结构化)2. 数据管理原则(“一数一源、一源多用”)3. 数据全生命周期管理流程规范数据治理委员会(决策层)《数据标准管理制度》1. 业务术语标准(如“客...
继续阅读