全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言人工智能

如何处理FlinkSQL中由于数据格式错误导致的失败？

提问者：帅平问题分类：面试刷题

FlinkSQL面试题 Flink

发布于：1周前 (05-29) IP属地：

1 个回答

我怕时间不够i

通过连接器参数配置反序列化失败时的行为（如跳过错误数据）。示例如下：

-- 使用JSON格式并配置忽略解析错误
CREATE TEMPORARY TABLE kafka_source (
  user_id STRING,
  event_time TIMESTAMP(3),
  log STRING METADATA FROM 'value'
) WITH (
  'connector' = 'kafka',
  'topic' = 'input_topic',
  'properties.bootstrap.servers' = 'localhost:9092',
  'format' = 'json',
  'json.fail-on-missing-field' = 'false',  -- 忽略缺失字段
  'json.ignore-parse-errors' = 'true'     -- 跳过解析失败的消息
);

发布于：1周前 (05-29) IP属地：

我来回答