全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言机器学习

Hive表下面的路径里面有很多小文件，请问怎么合并一下？

提问者：帅平问题分类：大数据

您阅读本篇文章共花了：

Hive

发布于：1年前 (2023-03-17) IP属地：四川省

1 个回答

北饮清茶

hive自身有个concatenate命令可以合并小文件，执行命令如下：

alter table test_table concatenate;

执行后就可以看到小文件变少了。

发布于：1年前 (2023-03-17) IP属地：四川省

穿越到古代找美女

1）concatenate 命令目前仅支持 RCFILE 和 ORC 文件类型
2）concatenate合并小文件时不能指定合并后的文件数量（可多次执行）
3）多次使用concatenate后文件数量不在变化，可以修改参数mapreduce.input.fileinputformat.split.minsize=256mb

发布于：1年前 (2023-03-17) IP属地：四川省

我来回答