数据治理
数据采集是否算作业务过程
“数据采集（爬虫）”是否算作业务过程，取决于你治理的边界和对象。
根据你的初衷（治理入库后的业务系统数据），我的建议是：不建议将“爬虫采集”列入核心业务域，但需要将其作为“数据源头”进行元数据管理。
以下是针对你这种情况的逻辑梳理和架构建议：
1. 为...
企业数据资产识别与管理操作指南
定位说明：本指南是对《01 元数据管理》《02 治理规则管理》《03 数据质量管理》《数据质量监控》的整合应用，聚焦 “哪些是数据资产 → 如何识别 → 如何管理 → 如何使用” 四步闭环，让业务、开发、数据团队对“数据资产”形成统一认知与操作标准。
1. 什么...
数据质量监控落地实施方案
一、使用场景
组件角色数据特点业务库（Mysql、Tidb）源头实时产生BinlogCDC -> Kafka传输层每条Binlog事件以JSON形式入Kafka（含before/after/op）Kafka消费 -> Doris入仓将Kafka中的变更...
spring-boot实现多数据源管理
技术栈：spring-boot + mybatis-plus + dynamic-datasource
实现动态添加数据源，并可执行query操作
pom.xml
binglog json 元数据校验
技术栈：spring-boot + mybatis plus + kafka + json-path + doris
整体思路: db binlog -> kafka binlog topic -> 主程序 -> kafka result top...
业务域划分五步实操法
“业务域划分”是整个数仓建模和数据治理的起点，如果划分不清，后续建模会混乱、治理会失效、业务用起来也会“找不到、对不上、不敢信”。
基于您所有文档（尤其是《数仓建模落地实施流程方案》《团队建模规范》《大数据数仓建模体系》），为您提炼出一套 “5步实操法”，并配套模...