大数据, 精选文章

团队建模规范

适用范围:所有数据开发、数仓工程师、数据产品经理核心原则:上游稳定,下游灵活;分层解耦,按需演进 一、整体架构与分层职责 层级职责禁止行为ODS贴源层,保留原始结构,不做清洗不得删除字段、不得做业务逻辑处理DWD面向核心实体的原子明细层,清洗、标准化、退化维...
继续阅读
大数据

DWD层建模思考04

每个分析主题下的核心实体或业务过程**,对应一张 DWD 明细表 🔍 一、关键概念辨析(结合你的文档) 概念定义文档中的体现业务域(Business Domain)高层业务范畴,如“企业资质评估”“客户触达”《实施流程方案》阶段1 明确划分了3个业务域业务过...
继续阅读
大数据

大数据建模体系补充

建模层级依赖问题: 有没有可能 dwd -> dwt -> dws -> 然后需要在dwt上按照企业状态绘制某个区域或者省份的画像,那么整体流程就变成了dwd -> dwt -> dws -> dwt -> ads。可能原...
继续阅读
大数据

数仓建模工具包

📎 1. 《DWD 七步法 Checklist.xlsx》 用途:指导新人从 ODS 到 DWD 表的完整建模流程适用对象:数据开发、数仓工程师使用方式:每建一张 DWD 表,填写一份 Checklist 步骤任务是否完成负责人交付物链接/说明1. 划分...
继续阅读
大数据

数仓建模落地实施流程方案

适用对象:数据开发、数仓工程师、数据产品经理技术栈:Doris + DolphinScheduler + CDC 实时入仓(10s)约束条件: 无历史分区,只维护当前最新全量 每小时调度,串行执行(内存有限) 所有查询/导出必须走 ADS 层 ...
继续阅读