23 9 月
大数据
Posted by

数仓建模体系03

问题：我的想法是需求必须到ads层即使是简单的明细查询，dwd -> ads 统一从ads导出数据或者查询数据，dwd不会因为需求变动去修改 或者dwt dws 到ads，ads是最终需求的结果表。另外使用array做数据统计是否方便，是不是没有必要硬上。 ...
继续阅读
23 9 月
大数据
Posted by

数仓建模体系02

问题：再补充一点：ods层数据来自业务库cdc实时同步到doris数仓，也就是没有定时同步任务，cdc checkpoint 10s， 另外ods层 命名使用realtime_ods.ods_库别名表名_full这样的形式，dwd层realtime_dwd.dwd业务域...
继续阅读
23 9 月
大数据
Posted by

数仓建模体系01

问题：基于上面的讨论，帮我输出一个完整版本的数据建模体系，包含每一层做的具体工作，比如ods到dwd做数据清洗、退化等 列出具体事项 以下是为你量身定制的 高企咨询服务场景下的完整离线数仓建模体系，覆盖从 ODS → DWD → DWS → DWT → ADS 的...
继续阅读
23 9 月
大数据
Posted by

dwd层建模思考03

问题：我有个思路为什么不能添加dwt层主题层，在主题层中，将dws层轻度聚合的数据进行拼接。比如dwt层company表 字段有：专利数、软著数、联系人数、联系方式数、不同类型联系方式数等。这些字段都来自dws层。在ads层 只需要结合dwd层和dwt层 针对不同的需求...
继续阅读
23 9 月
大数据
Posted by

dwd层建模思考02

问题：关于，联系人表和联系方式表dwd层：一个企业有多个联系人，一个联系人有多个联系方式，一个联系方式有多个采集来源，以及多个联系方式标签标注这个联系方式有效、空号、非本公司等。按照上面的理论，这样该如何做dwd层 🎯 一、业务关系梳理（实体与粒度） 你描述...
继续阅读
23 9 月
大数据
Posted by

dwd层建模思考01

问题：当前离线数仓dwd层建模 基本上都是按照ods贴源层的数据，去掉逻辑删除的的数据。表字段保持不变，另外也只是添加了字典码值。感觉这模型层的构建太简单了，不成体系。 一、DWD 层的核心价值 DWD 层不是“ODS 去删 + 加码值”，而是： ✅ ...
继续阅读
20 9 月
数据治理, 精选文章
Posted by

数据治理方案

目标 提升数据质量、保障数据安全、促进数据共享与价值挖掘 原则 合规性、一致性、可追溯性、持续改进 一、整体治理体系 组织机构数据治理委员会及成员构成岗位职责管理制度日常调度频次、参会角色、会议记录数据审计周期（季度审计、重大变更专项审计...
继续阅读