Hive

表优化

案例 

二

三

设置多个 reducer 

 

生产中 reducer 有 很多个 ，所以会产生数据倾斜    ，那么我们随机分布空 值   ，按什么呢  ，

 对比 ，解决数据倾斜

 

MapJoin

Group By

Count Distinct 去重统计

尽量避免 ，笛卡尔积

行列过滤

MR 优化

 

小文件合并

 

复杂文件增加Map 数量

 

合理设置 Reduce 数量

 

并行执行

 

设置本地模式