我们数据量太大了,每天每个分区大概有500多G,我采用s3 的 table value function 读不了,过滤查询好像也不行

提问者:帅平 问题分类:数据库
我们数据量太大了,每天每个分区大概有500多G,我采用s3 的 table value function 读不了,过滤查询好像也不行,这种我直接把500G拉倒本地,然后stream load也是一笔不小的开销啊,有没有什么好的方法啊

 您阅读本篇文章共花了: 

2 个回答
命里最重要的人
命里最重要的人
如果是数据源Kafka,可以采用routine load
发布于:4个月前 (12-21) IP属地:未知
到头来只是玩笑一场
到头来只是玩笑一场
内网还好 外网够呛
发布于:4个月前 (12-21) IP属地:未知
我来回答