13 6 月
数据治理, 精选文章
Posted by

数据治理规则管理方案

一、概述 元数据管理和数据质量规则管理是数据治理中紧密衔接的两个核心环节。元数据管理提供了数据的“描述信息”（如业务含义、技术属性），而数据治理规则管理则基于这些信息，指定具体的校验逻辑，确保数据符合预期标准。 示例： 元数据管理的输出： 业务...
继续阅读
13 6 月
数据治理
Posted by

字典表与元数据管理

字典表（数据字典/码表）应该纳入元数据管理，并且是数据治理的关键组成部分。 1. 为什么字典表需要元数据管理？ 字典表（如性别编码表、国家地区码表、订单状态表等）存储了业务枚举值和标准编码，其数据质量直接影响业务系统的准确性。元数据管理可以帮助： (1...
继续阅读
12 6 月
数据治理
Posted by

元数据管理与数据质量规则的关系

元数据管理和数据质量规则管理是数据治理中紧密衔接的两个核心环节。元数据管理提供了数据的“描述信息”（如业务含义、技术属性），而数据质量规则管理则基于这些信息，制定具体的校验逻辑，确保数据符合预期标准。 1. 元数据管理与数据质量规则的关系 1.1 输入与输出...
继续阅读
12 6 月
数据治理, 精选文章
Posted by

元数据管理方案

一、概念 1、元数据（Metadata） 定义：“描述数据的数据”，例如：数据库表的字段名称、数据类型、业务含义，数据表的生成规则、负责人、更新频率。 2、元模型（Meta-Model） 定义：描述元数据属性及关系的模型，即“元数据的结构定义”。...
继续阅读
12 6 月
数据治理
Posted by

元数据管理核心流程

1. 技术元数据管理的核心流程 （1）识别技术元数据范围 定义：明确技术元数据的覆盖范围，通常包括： 数据库层：表名、字段名、数据类型、约束、索引、分区等。 ETL/数仓层：作业名称、调度依赖、转换规则、血缘关系。 应用层：API接口、消息队...
继续阅读
09 6 月
数据治理
Posted by

元数据-标准-治理-质量的关系

在DCMM（数据管理能力成熟度评估模型）框架中，数据治理、数据质量、数据标准、元数据管理确实是独立的8个核心能力域之一，但它们之间并非严格的线性依赖关系，而是相互支撑、协同演进的关系。以下是它们的逻辑关系及实施路径分析： 1. DCMM框架中的独立性与关...
继续阅读
06 6 月
数据治理
Posted by

技术元数据关联业务流程

1. 当前结构分析 字段名问题描述库名/表名/字段名基础技术元数据完整类型仅技术属性，缺少业务语义（如是否枚举值、计量单位）元数据分类分类颗粒度不明确（是技术/业务/管理？是否细分主题域？）业务定义自由文本难以标准化，缺少关联术语库敏感等级合规性基础字段创建人/时...
继续阅读
06 6 月
数据治理
Posted by

技术元数据与血缘关系

SQL逻辑与血缘关系确实需要独立于基础技术元数据存储，但两者需通过关联键保持连接。以下是专业级的设计方案： 一、SQL逻辑与血缘的独立存储必要性 对比维度基础技术元数据（表结构）SQL逻辑与血缘数据数据性质静态信息（DDL定义）动态信息（ETL/查询行为）变...
继续阅读
06 6 月
数据治理
Posted by

三类元数据的存储方式和关联关系

一、三类元数据的本质区别 元数据类型核心描述对象典型字段核心用途技术元数据数据物理结构库名、表名、字段名、字段类型、约束、索引指导系统开发和运维业务元数据数据业务含义业务定义、指标公式、敏感等级、关联业务流程支撑业务分析和决策管理元数据数据治理过程信息创建人、创建...
继续阅读
06 6 月
数据治理
Posted by

问题数据产生与检测流程

在离线数仓的典型流程中，数据质量监控确实是事后检查机制，问题的发现和修复遵循以下闭环流程： 1. 问题数据产生与检测流程 关键点： 问题数据已进入数仓（ODS或DWD层），质量监控是滞后检测。 修复需从业务系统源头修正，再重新同步到数仓（避...
继续阅读