全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言人工智能

为啥我在spark里面创建的paimon表在flink里面拿不到呢？

提问者：帅平问题分类：大数据

Paimon

发布于：7个月前 (09-27) IP属地：四川省

9 个回答

青山依旧

你指的在flink里拿，是从paimon的catalog里查吗?

发布于：7个月前 (09-27) IP属地：四川省

帅平提问者

嗯嗯

./bin/spark-sql --conf spark.sql.catalog.rpkj_catalog=org.apache.paimon.spark.SparkCatalog --conf spark.sql.catalog.rpkj_catalog.warehouse=hdfs:///user/hive/warehouse/ --conf spark.sql.catalog.rpkj_catalog.metastore=hive --conf spark.sql.catalog.rpkj_catalog.uri=thrift://192.168.0.251:9083

就这样进去建的表

发布于：7个月前 (09-27) IP属地：四川省

披起头发是娇弱

嗯嗯

./bin/spark-sql --conf spark.sql.catalog.rpkj_catalog=org.apache.paimon.spark.SparkCatalog --conf spark.sql.catalog.rpkj_catalog.warehouse=hdfs:///user/hive/warehouse/ --conf spark.sql.catalog.rpkj_catalog.metastore=hive --conf spark.sql.catalog.rpkj_catalog.uri=thrift://192.168.0.251:9083

就这样进去建的表

paimon里的元数据要么在hive里，要么在hdfs上，得看你spark里创的表的元数据放在哪里，如果两边一样，应该就没问题

发布于：7个月前 (09-27) IP属地：四川省

帅平提问者

paimon里的元数据要么在hive里，要么在hdfs上，得看你spark里创的表的元数据放在哪里，如果两边一样，应该就没问题

spark.sql.catalog.rpkj_catalog.metastore=hive

都是hive啊，但是没拿到

发布于：7个月前 (09-27) IP属地：四川省

♀如此美

spark.sql.catalog.rpkj_catalog.metastore=hive

都是hive啊，但是没拿到

拿不到是正常现象。paimon的hive catalog只能拿自己的表，拿不到hive自己的。

发布于：7个月前 (09-27) IP属地：四川省

帅平提问者

拿不到是正常现象。paimon的hive catalog只能拿自己的表，拿不到hive自己的。

那是不是用jdbc的catalog就可以了？

发布于：7个月前 (09-27) IP属地：四川省

国民小哥哥

那是不是用jdbc的catalog就可以了？

对，你去paimon目录下就可以看到，只有你在paimon 的catalog建的表的目录，不会有hive自己的表目录。

发布于：7个月前 (09-27) IP属地：四川省

空欢喜一场

对，你去paimon目录下就可以看到，只有你在paimon 的catalog建的表的目录，不会有hive自己的表目录。

就像iceberg似的

发布于：7个月前 (09-27) IP属地：四川省

我来回答