数仓实现过程
1、了解需求（包括原始数据结构）
2、提取指标(事实表)、维度(维度表)
3、分层设计
4、建模
5、分层实现
1、了解需求（包括原始数据结构）
2、提取指标和维度
3、设计分层
ODS：保留最完整的原始数据、外部表
DW：
新零售项目：DWD、DWB、DWS、DM（教育项目：DWD、DWM、DWS）
DWD：保证数据高质量，进行清洗转换；
DWB：明细宽表，降维冗余，雪花模型——》星型模型；
DWS：日统计宽表，按天进行轻度聚合；
DM：数据集市，总累积、年、季度、月、周、天；等同于教育项目的DWS层；
RPT/APP/DA：OLAP应用层
教育项目分层：ODS、DWD、DIM、DWM、DWS、APP
DIM：维表层，维度表，维度数据的统一口径；
DWM(middle)：中间组件层：1、明细宽表，减少join；2、轻度聚合，日统计宽表；
DWS(service)：数据集市：粗粒度的聚合汇总
4、建模
ODS-》字段保持和原始数据一致，增加抽取日期作为分区；
DWD-》1、增加转换后的字段：年、季度、月、周；2、拉链表字段：生效日期、封链日期；
DWB（教育DWM）-》将关联表的字段，都放进来；关系紧密经常一起使用、副表数据量不能比主表大太多；
DWS（教育DWM）-》按照主题需求统计，字段包含了指标、维度、group_type；
DM （教育DWS）-》按照主题需求统计，字段包含了指标、维度、group_type、年、季度、月、周、日、time_type；
RPT（教育APP）-》个性化的需求，按照需求来走；
5、实现抽取计算
5.1、根据分层，进行功能实现
5.2、实现过程中，出现问题解决问题
ODS-》
sqoop 首次：select * from table where 1=1 and $CONDITIONS
循环：select * from table where (create_time between '2022-02-14 00:00:00' and '2022-02-14 23:59:59')
or
(update_time between '2022-02-14 00:00:00' and '2022-02-14 23:59:59')
and $CONDITIONS
DWD-》
清洗：根据不同表的业务，进行针对性的过滤：where buy_user is not null
转换：枚举值转换、时间格式、单位统一、脱敏、Json拉平
拉链表：生效日期、封链日期。会更新的表才需要用。查询拉链表和更新拉链表。
DWB（教育DWM）-》
明细宽表，降维冗余。
Left Join & Full Join ——》 数据重复
关联原则：关系紧密经常一起使用、副表数据量不能比主表大太多、不断变化的
主表 left join 副表 on ...
left join 副表 on ...
left join 副表 on ...
left join 副表 on ...
自关联：涉及到多层自关联的表，需要将各层均冗余到宽表中。 from table a left join table b on a.parent_id=b.id
DWS（教育DWM）-》
日统计宽表，按天进行轻度聚合
去重的方法： 1、distinct：针对单个字段去重；2、groupby：对全局数据生效，影响分组和聚合的结果；3、row_number+partitionby：对全局数据生效，不影响分组和聚合的结果
-- ==================城市
with rn_base (
select
row_number() over(partition by order_id) rn
from dwb
)
select
count(order_id), sum(order_price)
from rn_base
where rn=1
group by dt, city;
-- ==================商圈
with rn_base (
select
row_number() over(partition by order_id) rn
from dwb
)
select
count(order_id), sum(order_price)
from rn_base
where rn=1
group by dt, trade_area;
-- ==================
………………
grouping sets：
场景：1、多个groupby；2、数据来源要一致。
优点：1、合并后sql简短；2、只读取一次硬盘数据，性能提升。
DM -》
年、季度、月、周、日
-- =====time_type:year group_type:all
with groupby as
(
select sum(order_price),
case when grouping(trade_area)=0
then 'trade_area'
when grouping(city)=0
then 'city'
END as group_type_new
-- group_type:all、city、trade_area...
from dws
-- where dws.group_type='all'
group by
grouping sets (
(year),
(year, city),
(year, trade_area),
(year_month),
(year_month, city),
(year_month, trade_area),
......
)
)
SELECT * from groupby
-- 天数据的分组类型 = 年数据的分组类型
where dws.group_type = group_type_new;
-- 总累积、首末日期
-- 累加的计算方式，不止是总累计值可以用、年、季度等都可以用：取舍在于性能和复杂度之间
DM旧累计值 + 昨天新数据 = 新累计值
性能更高、过程复杂；
max(date) 首次日期
min(date) 末次日期
RPT-》个性化操作