Doris导出表数据的时候有什么注意事项?

提问者:帅平 问题分类:大数据
Doris导出表数据的时候有什么注意事项?
1 个回答
没你的江山怎么画
没你的江山怎么画
doris官方给出数据导出注意事项如下:
1、不建议一次性导出大量数据。一个 Export 作业建议的导出数据量最大在几十 GB。过大的导出会导致更多的垃圾文件和更高的重试成本。
2、如果表数据量过大,建议按照分区导出。
3、在 Export 作业运行过程中,如果 FE 发生重启或切主,则 Export 作业会失败,需要用户重新提交。
4、如果 Export 作业运行失败,在远端存储中产生的 __doris_export_tmp_xxx 临时目录,以及已经生成的文件不会被删除,需要用户手动删除。
5、如果 Export 作业运行成功,在远端存储中产生的 __doris_export_tmp_xxx 目录,根据远端存储的文件系统语义,可能会保留,也可能会被清除。比如对象存储(支持S3协议)中,通过 rename 操作将一个目录中的最后一个文件移走后,该目录也会被删除。如果该目录没有被清除,用户可以手动清除。
6、当 Export 运行完成后(成功或失败),FE 发生重启或切主,则 SHOW EXPORT 展示的作业的部分信息会丢失,无法查看。
7、Export 作业只会导出 Base 表的数据,不会导出 Rollup Index 的数据。
8、Export 作业会扫描数据,占用 IO 资源,可能会影响系统的查询延迟。
发布于:1年前 (2022-11-09) IP属地:四川省
我来回答