项目需求
一 用户行为数据平台采集搭建
将文件导入到数仓
二 业务数据采集平台搭建
将mysql 数据导入到数仓
三 数据仓库维度建模
书籍: 数仓工具箱(将理论实现)
四 分析
用户、流量、会员、商品、销售、地区、活动 等电商核心主题,统计的报表指标近100多个。
五 采用即席查询工具,随时进行指标分析
快速查询数据
六 集群监控
对集群性能进行监控,发生异常需报警 第一时间发现异常
七 元数据管理
八 质量监控
例:日活跃 平均在 1w ,突然有一天猛增为 100w ,可能是算错了 需要质量监控。
监控指标的质量趋势,是否超出了以往数据的 合理范围 30%
监控数据的空值,重复值,过期数据等等</