Monthly Archives: 5 月 2025
2万字揭秘阿里巴巴数据治理平台建设经验记录
一、数据生产规范性治理
我们将数据规范性放在第一个讲,这是很多数据治理问题的源头,不管是第一阶段的生产稳定,还是第二阶段的应用提效,都和数据规范性紧密相关,我们举几个简单的例子:
数仓架构混乱跨bu、跨团队依赖较多,数仓架构逐渐混乱,逐步有失控趋势,面临重...
企业工商信息数据安全管理实施方案
一、数据安全管理框架
基于《数据安全法》《个人信息保护法》等法规要求,构建以分类分级为基础、权限管控为核心、技术防护为手段、审计监控为保障的四维管理体系:
二、数据分类分级规范
2.1 分类标准
数据类别定义示例基础身份信息企业唯一标识信...
企业工商信息数据质量管理实施方案
一、数据质量治理框架
1.1 质量维度定义
根据ISO 8000标准,结合工商数据特性制定6大质量维度:
维度定义典型问题示例完整性关键字段无缺失统一社会信用代码字段为空准确性数据真实反映实际情况注册资本单位错误(如将“万元”误为“元”)一致性多源数据...
数仓建设规范指南(转载)
转载地址:https://www.cnblogs.com/itlz/p/15539258.html
https://www.cnblogs.com/ohtang/articles/17377959.html
目录:
一、数据模型架构原则
数仓分...
django-ninja动态api发布demo
动态api发布,带数据源配置以及api配置
新建django项目api_server
新建common文件夹 并创建core.py dbc.py dsm.py
core.py
业界大厂数据治理方案架构整理汇总(转载)
原文地址:https://zhuanlan.zhihu.com/p/636158337
1、为什么要数据治理
为什么要做数据治理?因为在数据产生、采集、加工、存储、应用到销毁的全过程中,每个环节都可能会引入各种质量、效率或安全相关的问题。在公司早期的发展阶段...
dolphinscheduler执行记录清理
打开任务实例记录较慢
清理:t_ds_process_instance 以及 t_ds_task_instance