Paimon中如何创建动态分桶?

提问者:帅平 问题分类:大数据
Paimon中如何创建动态分桶?
2 个回答
兮和
兮和
建表的时候主要涉及3个参数:
# 设置bucket为-1(主键表)
'bucket' = '-1'
#设置每个桶的目标行数
'dynamic-bucket.target-row-num' = 2000000
#设置初始化时的桶数量
`dynamic-bucket.initial-buckets` = 1
例如:
CREATE TABLE if not EXISTS product2 (product_id BIGINT, price DOUBLE, sales BIGINT)
WITH
  (
    -- 'target-file-size' = '256 MB',
    -- 'file.format' = 'parquet',
    -- 'file.compression' = 'zstd',
    -- 'file.compression.zstd-level' = '3',
    -- 'write-only' = 'true',
    -- 'bucket' = '-1',
    -- 'dynamic-bucket.target-row-num' ='2000000',
    -- 'dynamic-bucket.initial-buckets' = '1'
  );
发布于:6个月前 (12-20) IP属地:四川省
丢一地的真心、没人珍惜
丢一地的真心、没人珍惜
动态桶仅支持单个写入作业。请勿启动多个作业写入同一分区(这可能导致数据重复)。即使你启用了“只写”模式并启动了一个专用的合并作业,也不会起作用。
发布于:6个月前 (12-20) IP属地:四川省
我来回答