06 6 月
大数据
Posted by

技术元数据关联业务流程

1. 当前结构分析 字段名问题描述库名/表名/字段名基础技术元数据完整类型仅技术属性，缺少业务语义（如是否枚举值、计量单位）元数据分类分类颗粒度不明确（是技术/业务/管理？是否细分主题域？）业务定义自由文本难以标准化，缺少关联术语库敏感等级合规性基础字段创建人/时...
继续阅读
06 6 月
大数据
Posted by

技术元数据与血缘关系

SQL逻辑与血缘关系确实需要独立于基础技术元数据存储，但两者需通过关联键保持连接。以下是专业级的设计方案： 一、SQL逻辑与血缘的独立存储必要性 对比维度基础技术元数据（表结构）SQL逻辑与血缘数据数据性质静态信息（DDL定义）动态信息（ETL/查询行为）变...
继续阅读
06 6 月
大数据
Posted by

三类元数据的存储方式和关联关系

一、三类元数据的本质区别 元数据类型核心描述对象典型字段核心用途技术元数据数据物理结构库名、表名、字段名、字段类型、约束、索引指导系统开发和运维业务元数据数据业务含义业务定义、指标公式、敏感等级、关联业务流程支撑业务分析和决策管理元数据数据治理过程信息创建人、创建...
继续阅读
06 6 月
大数据
Posted by

问题数据产生与检测流程

在离线数仓的典型流程中，数据质量监控确实是事后检查机制，问题的发现和修复遵循以下闭环流程： 1. 问题数据产生与检测流程 关键点： 问题数据已进入数仓（ODS或DWD层），质量监控是滞后检测。 修复需从业务系统源头修正，再重新同步到数仓（避...
继续阅读
06 6 月
大数据
Posted by

数据质量监控

数据质量实时监控方案 1. 整体架构 2. 技术指标与校验规则 技术指标校验规则校验方法实时实现示例完整性关键字段非空率≥99%统计字段空值占比，触发阈值告警Flink SQL：COUNT(CASE WHEN field IS NULL THE...
继续阅读
06 6 月
大数据
Posted by

DCMM数据质量：技术指标、业务指标

在DCMM（数据管理能力成熟度评估模型）的数据质量章节中，技术指标和业务指标是衡量数据质量的两类核心维度，分别从技术实现和业务价值的角度对数据质量进行评估。以下是具体的分类和说明： 一、技术指标 技术指标关注数据本身的客观属性和技术层面的合规性，通常由数据管...
继续阅读
05 6 月
大数据
Posted by

对元数据进行精细化管理和建模

在DCMM（数据管理能力成熟度评估模型）框架中，“在某个业务领域对元数据分类并设计每一类元数据的元模型” 这一要求，本质上是指导组织针对具体业务场景（如财务、供应链、人力资源等），对元数据进行精细化管理和建模。以下是分步骤的详细解释： 1. 核心概念再明...
继续阅读
05 6 月
大数据
Posted by

元数据与元模型

1. 关键概念拆解 （1）元数据（Metadata） 即"描述数据的数据"，例如： 数据库表的字段名称、数据类型、业务含义 数据报表的生成规则、负责人、更新频率 （2）元模型（Meta-Model） 定义：描述元数据属性及其关系的...
继续阅读
05 6 月
大数据
Posted by

DCMM数据分布过程描述及关系梳理示例

1. 数据分布过程描述 1.1 数据分布梳理流程 组织级数据模型分析：基于已定义的组织级数据模型，识别关键数据实体和属性 业务流程映射：将业务流程活动与数据实体进行关联 分布关系定义：明确数据与流程、组织机构、系统间的分布关系 可视化呈现...
继续阅读