通过spark-doris-connector往doris写数据,报错:Reason: actual column number in csv file is less than schema

提问者:帅平 问题分类:数据库
通过spark-doris-connector往doris写数据,报错:Reason: actual column number in csv file is less than schema column number.actual number: 17, schema column number: 25; line delimiter。
有的字段列,比如movie_desc,本身有换行符,这个咋个可以避免呀?
1 个回答
孤岛少女情
孤岛少女情
使用json的方式导入就不会出这种问题了,想办法把你原始冲动csv文件转换成json。然后配置:
'sink.properties.format' = 'json',
'sink.properties.read_json_by_line' = 'true'

就可以了
发布于:6个月前 (11-01) IP属地:
我来回答