全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言人工智能

想要给hive配置数据压缩，请问在哪配置？

提问者：帅平问题分类：大数据

Hive

发布于：3个月前 (01-24) IP属地：四川省

2 个回答

安若兮

配置项如下：
1、codecs

配置参数：io.compression.codecs
对应配置文件：core-site.xml
默认值：无
建议：可以使用set io.compression.codecs; 判断是否支持某种编码器；

2、compress

配置参数：mapreduce.map.output.compress
对应配置文件：mapred-site.xml
默认值：false
影响：mapper输出
建议：这个参数设为true启用压缩;

3、compress,codec

配置参数：mapreduce.map.output.compress.codec
对应配置文件：mapred-site.xml
默认值：org.apache.hadoop.io.compress.DefaultCodec
影响：mapper输出
建议：企业多使用LZO或Snappy编解码器在此阶段压缩数据;

发布于：3个月前 (01-24) IP属地：四川省

下个站口、等迩

4、fileoutputformat.compress

配置参数：mapreduce.output.fileoutputformat.compress
对应配置文件：mapred-site.xml
默认值：false
影响：reducer输出
建议：这个参数设为true启用压缩；

5、fileoutputformat.compress.code

配置参数：mapreduce.output.fileoutputformat.compress.code
对应配置文件：mapred-site.xml
默认值：org.apache.hadoop.io.compress.DefaultCodec
影响：reducer输出
建议：使用标准工具或者编解码器，如gzip和bzip2;

发布于：3个月前 (01-24) IP属地：四川省

我来回答