Paimon如何集成S3?

提问者:帅平 问题分类:面试刷题
Paimon如何集成S3?
1 个回答
宁愿短发披肩
宁愿短发披肩
集成S3的步骤如下:
1、Flink中添加依赖
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-aws</artifactId>
    <version>3.3.4</version>  <!-- 与Hadoop版本匹配 -->
</dependency>
<dependency>
    <groupId>com.amazonaws</groupId>
    <artifactId>aws-java-sdk-bundle</artifactId>
    <version>1.12.262</version>
</dependency>
2、Flink配置S3认证(如果有认证的话)
#flink-conf.yaml中配置
# 启用 S3A 文件系统
fs.s3a.impl: org.apache.hadoop.fs.s3a.S3AFileSystem
# AWS 凭证
s3.access.key: AKIAxxxxxxxx
s3.secret.key: xxxxxxxxxxxxxxxxx
# S3 终端节点(若使用非AWS S3,如MinIO)
s3.endpoint: http://minio:9000
s3.path.style.access: true  # MinIO 需开启路径风格
3、创建paimon表指向S3
[code:html]CREATE TABLE paimon_s3_table (
user_id STRING PRIMARY KEY,
dt STRING,
revenue DOUBLE
) PARTITIONED BY (dt) WITH (
'connector' = 'paimon',
'path' = 's3://your-bucket/paimon/warehouse/paimon_s3_tabl
发布于:2周前 (05-26) IP属地:
我来回答