请问下paimon作为纬度表时,数据每天有更新,已经运营的任务怎么触发paimon数据也更新

提问者:帅平 问题分类:大数据
请问下paimon作为纬度表时,数据每天有更新,已经运营的任务怎么触发paimon数据也更新,现在发现关联上的paimon维度表数据都是旧的
1 个回答
我是白云
我是白云
Lookup Join 就是有这个问题
发布于:1年前 (2023-07-25) IP属地:四川省
帅平
帅平提问者
那维度表变化的话每次要重启任务么?
发布于:1年前 (2023-07-25) IP属地:四川省
离不开天空的云
离不开天空的云
那维度表变化的话每次要重启任务么?
重启任务感觉也没用,老数据没人去更新了
发布于:1年前 (2023-07-25) IP属地:四川省
帅平
帅平提问者
重启任务感觉也没用,老数据没人去更新了
那如果不能更新的话作为维度表使用局限性很大哈
发布于:1年前 (2023-07-25) IP属地:四川省
忆雪
忆雪
那如果不能更新的话作为维度表使用局限性很大哈
你们这个场景,主表是分区表吗?pk是什么字段?维表大吗?
发布于:1年前 (2023-07-25) IP属地:四川省
帅平
帅平提问者
你们这个场景,主表是分区表吗?pk是什么字段?维表大吗?
主表是分区表,pk就是关联字段,paimon维度表是支持增量更新么?我维度表更新用的insert overwrite
发布于:1年前 (2023-07-25) IP属地:四川省
久碍
久碍
主表是分区表,pk就是关联字段,paimon维度表是支持增量更新么?我维度表更新用的insert overwrite
现在是说 insert overwrite 后,最新的 Lookup Join 查询不到吗?
发布于:1年前 (2023-07-25) IP属地:四川省
帅平
帅平提问者
现在是说 insert overwrite 后,最新的 Lookup Join 查询不到吗?
发布于:1年前 (2023-07-25) IP属地:四川省
一生的爱意
一生的爱意
streaming-read-overwrite=true 看下这个文档:
https://paimon.apache.org/docs/master/how-to/writing-tables/
发布于:1年前 (2023-07-25) IP属地:四川省
帅平
帅平提问者
streaming-read-overwrite=true 看下这个文档:
https://paimon.apache.org/docs/master/how-to/writing-tables/
就是 纬度表也支持insert override方式更新么
发布于:1年前 (2023-07-25) IP属地:四川省
宁愿短发披肩
宁愿短发披肩
就是 纬度表也支持insert override方式更新么
对的
发布于:1年前 (2023-07-25) IP属地:四川省
我来回答