大数据, 精选文章

团队建模规范

适用范围:所有数据开发、数仓工程师、数据产品经理核心原则:上游稳定,下游灵活;分层解耦,按需演进 一、整体架构与分层职责 层级职责禁止行为ODS贴源层,保留原始结构,不做清洗不得删除字段、不得做业务逻辑处理DWD面向核心实体的原子明细层,清洗、标准化、退化维...
继续阅读
数据治理, 精选文章

数据治理方案

目标 提升数据质量、保障数据安全、促进数据共享与价值挖掘 原则 合规性、一致性、可追溯性、持续改进 一、整体治理体系 组织机构数据治理委员会及成员构成岗位职责管理制度日常调度频次、参会角色、会议记录数据审计周期(季度审计、重大变更专项审计...
继续阅读
数据治理, 精选文章

数据质量管理方案

一、概述 数据质量管理是以元数据为基础、规则引擎为核心、闭环优化为目标的持续治理过程,通过自动化的校验->分析->修复->预防机制,确保数据在完整性、准确性、一致性等方面满足业务需求,具体包含: 1、治理基础: 依赖技术/业务/管理...
继续阅读
数据治理, 精选文章

数据治理规则管理方案

一、概述 元数据管理和数据质量规则管理是数据治理中紧密衔接的两个核心环节。元数据管理提供了数据的“描述信息”(如业务含义、技术属性),而数据治理规则管理则基于这些信息,指定具体的校验逻辑,确保数据符合预期标准。 示例: 元数据管理的输出: 业务...
继续阅读
数据治理, 精选文章

元数据管理方案

一、概念 1、元数据(Metadata) 定义:“描述数据的数据”,例如:数据库表的字段名称、数据类型、业务含义,数据表的生成规则、负责人、更新频率。 2、元模型(Meta-Model) 定义:描述元数据属性及关系的模型,即“元数据的结构定义”。...
继续阅读