向Hudi中更新数据需要注意哪些问题?

提问者:帅平 问题分类:面试刷题
向Hudi中更新数据需要注意哪些问题?
1 个回答
兮和
兮和
向Hudi更新数据的时候主要注意如下几个问题:
1、同一个分区内,向Hudi中更新数据是用主键来判断数据是否需要更新的,这里判断的是相同分区内是否有相同主键,不同分区内允许有相同主键。
2、更新数据时,如果原来数据有分区,一定要指定分区,不然就相当于是向相同表目录下插入数据,会生成对应的“default”分区。
3、向Hudi中更新数据时,与向Hudi中插入数据一样,但是写入的模式需要指定成“Append”,如果指定成“overwrite”,那么就是全覆盖了。建议使用时一直使用“Append”模式即可。
4、当更新完成之后,再一次从Hudi中查询数据时,会看到Hudi提交的时间字段为最新的时间。
发布于:4个月前 (01-18) IP属地:未知
我来回答