2 个回答
建表的时候主要涉及3个参数:
# 设置bucket为-1(主键表)
'bucket' = '-1'
#设置每个桶的目标行数
'dynamic-bucket.target-row-num' = 2000000
#设置初始化时的桶数量
`dynamic-bucket.initial-buckets` = 1
例如:CREATE TABLE if not EXISTS product2 (product_id BIGINT, price DOUBLE, sales BIGINT)
WITH
(
-- 'target-file-size' = '256 MB',
-- 'file.format' = 'parquet',
-- 'file.compression' = 'zstd',
-- 'file.compression.zstd-level' = '3',
-- 'write-only' = 'true',
-- 'bucket' = '-1',
-- 'dynamic-bucket.target-row-num' ='2000000',
-- 'dynamic-bucket.initial-buckets' = '1'
);
发布于:6个月前 (12-20) IP属地:四川省
动态桶仅支持单个写入作业。请勿启动多个作业写入同一分区(这可能导致数据重复)。即使你启用了“只写”模式并启动了一个专用的合并作业,也不会起作用。
发布于:6个月前 (12-20) IP属地:四川省
我来回答
您需要 登录 后回答此问题!