Hive性能优化中,IO相关的调优参数有哪些?

提问者:帅平 问题分类:大数据
Hive性能优化中,IO相关的调优参数有哪些?
1 个回答
一心居一人
一心居一人
io相关的参数有:
hive.fetch.task.conversion:是否开启FETCH任务转换模式,默认为false。
hive.fetch.task.aggr:是否开启FETCH任务的聚合模式,默认为false。
hive.fetch.task.conversion.threshold:开启FETCH任务转换模式时的阈值,单位为字节,默认为268435456(256MB)。
hive.fetch.task.aggr.bytes.per.reducer:开启FETCH任务聚合模式时每个Reducer处理数据的大小,默认为256MB。
hive.optimize.skewjoin:是否开启Skew Join优化,默认为false。
hive.optimize.skewjoin.compiletime:是否在编译阶段使用Skew Join优化,默认为true。
发布于:6个月前 (11-20) IP属地:四川省
我来回答