大数据
动态库+动态项目配置管理
需求：根据用户指定的不同的环境以及当前环境下不同的项目读取不同的配置信息
1、项目结构
sqlalchemy + pydantic_settings 实现动态库连接
需求：根据用户指定环境参数输入访问不同环境的datasource元数据表，然后根据指定元数据id创建对应conn链接，进而进行crud操作。
1、项目结构
Doris 2.1.x版本升级
元数据兼容性测试
注意
在生产环境中，建议保持 3 个以上的 FE 做高可用配置。如果只有 1 个 FE 节点，需要先做元数据兼容性测试后，再进行升级操作。元数据兼容非常重要，如果因为元数据不兼容导致的升级失败，能会导致数据丢失。建议每次升级前都进行元数据兼...
Centos时间同步
✅ 推荐方案：使用 chrony（CentOS 7+ 默认推荐）
1. 安装 chrony（如未安装）
数仓建模工具包（增强版）
适用对象：数据开发、数仓工程师、数据产品经理
📎 1. 《DWD七步法 Checklist.xlsx》（增强版）
用途：指导新人从 ODS 到 DWD 表的完整建模流程使用方式：每建一张 DWD 表，填写一份 Checklist
步骤任务是否完成负责人...
数仓建模落地实施流程方案（增强版）
适用对象：数据开发、数仓工程师、数据产品经理技术栈：Doris + DolphinScheduler + CDC 实时入仓（10s Checkpoint）约束条件：
无历史分区，只维护当前最新全量
每小时调度，串行执行（内存有限）
所有查询/导出必须...
大数据数仓建模体系（完整增强版）
适用场景：企业资质评估、客户分层、销售跟进、资源匹配核心实体：企业、联系人、联系方式、专利、软著、标签、来源等技术栈：Doris + CDC 实时入仓（10s） + DolphinScheduler约束条件：
无历史分区，仅维护当前最新全量状态
所有查询/...
DWD层建模思考04
每个分析主题下的核心实体或业务过程**，对应一张 DWD 明细表
🔍 一、关键概念辨析（结合你的文档）
概念定义文档中的体现业务域（Business Domain）高层业务范畴，如“企业资质评估”“客户触达”《实施流程方案》阶段1 明确划分了3个业务域业务过...