数据治理
企业数据资产识别与管理操作指南
定位说明:本指南是对《01 元数据管理》《02 治理规则管理》《03 数据质量管理》《数据质量监控》的整合应用,聚焦 “哪些是数据资产 → 如何识别 → 如何管理 → 如何使用” 四步闭环,让业务、开发、数据团队对“数据资产”形成统一认知与操作标准。
1. 什么...
数据质量监控落地实施方案
一、使用场景
组件角色数据特点业务库(Mysql、Tidb)源头实时产生BinlogCDC -> Kafka传输层每条Binlog事件以JSON形式入Kafka(含before/after/op)Kafka消费 -> Doris入仓将Kafka中的变更...
spring-boot实现多数据源管理
技术栈:spring-boot + mybatis-plus + dynamic-datasource
实现动态添加数据源,并可执行query操作
pom.xml
binglog json 元数据校验
技术栈:spring-boot + mybatis plus + kafka + json-path + doris
整体思路: db binlog -> kafka binlog topic -> 主程序 -> kafka result top...
业务域划分五步实操法
“业务域划分”是整个数仓建模和数据治理的起点,如果划分不清,后续建模会混乱、治理会失效、业务用起来也会“找不到、对不上、不敢信”。
基于您所有文档(尤其是《数仓建模落地实施流程方案》《团队建模规范》《大数据数仓建模体系》),为您提炼出一套 “5步实操法”,并配套模...
数据治理工具包(增强版)
适用对象:数据治理专员、数据开发、质量分析师配套文档:
《元数据管理落地实施流程方案(增强版)》
《数据治理规则管理落地实施流程方案(增强版)》
《数据质量管理落地实施流程方案(增强版)》设计原则:流程驱动、模板先行、闭环可溯、新人可用
📎 ...
数据质量管理落地实施流程方案(增强版)
适用对象:数据治理专员、数据开发、质量分析师技术依赖:元数据平台、规则引擎、调度系统(如 DolphinScheduler)、工单系统核心原则:规则驱动、自动校验、问题闭环、持续优化目标:3个月内实现核心表质量评分 ≥90%,问题闭环率 ≥95%,重大问题(P0/P1)...