使用tag来实现的表,可以每天生成一个tag,业务要查询最近10天的快照怎么办? 请教下:使用tag来实现的表,可以每天生成一个tag,然后查询历史tag,但是业务要查询最近10天的快照,找不到可以取范围tag的方式,只能一次查看一个快照,paimon似乎没有提供这种功能,查资料没有找到。 这个只... 帅平大数据2024-09-20680 阅读3 评论
场景是cdc写入paimon表,5000万数据更新,paimon处理压力大吗? 请问一下群里的各位大佬,遇到业务全表更新一张5000万数据表的某个字段,刷写数据,产生5000万条binlog日志,flink并行度为1,paimon处理的压力大吗,大概需要多久能处理完呢。场景是cdc写入paimo... 帅平大数据2024-09-10810 阅读1 评论
paimon 任务,tm 内存占用高,GC时间长 的原因是啥,数据链路是从 kafka 到 paimon同步。 paimon 任务,tm 内存占用高,GC时间长 的原因是啥,数据链路是从 kafka 到 paimon同步。... 帅平大数据2024-09-06711 阅读1 评论
如果是离线的分区表,昨天的分区写入用的0.7的jar包,今天分区用的0.8版本,下游读取会有问题吗 如果是离线的分区表,昨天的分区写入用的0.7的jar包,今天分区用的0.8版本,下游读取会有问题吗... 帅平大数据2024-07-31687 阅读2 评论
请教下,我在beeline窗口使用了add jar包的方式加载 hive 的paimon jar,也不能读取hive表是什么情况 请教下,我在beeline窗口使用了add jar包的方式加载 hive 的paimon jar,也不能读取hive表是什么情况,加一个where条件就能正常读取了,这个是什么情况,有升级0.8.2的大佬能正常读取h... 帅平大数据2024-07-31789 阅读1 评论
想问下Compact job在正常运行,但是对应表 snapshot下的快照确实没有删除操作,是启动命令不对吗? 想问下Compact job在正常运行,但是对应表 snapshot下的快照确实没有删除操作,是启动命令不对吗?... 帅平大数据2024-06-17705 阅读1 评论
请问有人在trino上实现过统一paimon和hive的catalog么? 请问有人在trino上实现过统一paimon和hive的catalog么?... 帅平大数据2024-06-17898 阅读2 评论
Paimon生产上,是建议总hms还是filesystemn呢,各有什么好处 Paimon生产上,是建议总hms还是filesystemn呢,各有什么好处... 帅平大数据2024-06-17760 阅读4 评论
sink.committer-memory,0.8版本这部分内存是用的jobmanager的还是taskmanager的呢? sink.committer-memory,0.8版本这部分内存是用的jobmanager的还是taskmanager的呢?我们最近调整了这部分内存为256m,jobmanager容器经常被yarn kill掉... 帅平大数据2024-06-04702 阅读1 评论
paimon-cdc任务同步了十几张mysql表,参数对于同步任务而言,是全局的吗? 比如一个paimon-cdc任务同步了十几张mysql表,每张表都加了表属性:sink.committer-memory = 256mb,这个参数对于同步任务而言,是全局的吗,还是每张表都可能用到256mb... 帅平大数据2024-06-04801 阅读3 评论