hive数据倾斜

it2025-05-22  19

hive的数据倾斜原因:

1、业务数据本身的原因

2、某些Sql语句本身导致的原因

3、key值分布不均匀

解决方法:

参数设置:

hive.map.aggr=true,进行map端聚合

hive.groupby.skewindata=true

 

 

 

最新回复(0)