1.2.8的Doris,能通过Spark connector的方式写入Bitmap类型吗?

提问者:帅平 问题分类:数据库
1.2.8的Doris,能通过Spark connector的方式写入Bitmap类型吗?
3 个回答
伤疤
伤疤
应该OK的、to_bitmap这个挺早就支持了,类似:
"doris.write.fields"="col1,col2,col3,bitmap_col2=to_bitmap(col2),bitmap_col3=bitmap_hash(col3)"
发布于:1个月前 (04-23) IP属地:四川省
帅平
帅平提问者
这个之前有看过,但是效率应该是非常低的用法。
目前我了解到的bitmap函数,
to_bitmap是把一个数字转换成bitmap,
在实际使用过程中,
更希望to_bitmap是一个类似 group_concat的函数,
有种迂回的用法是bitmap_union(to_bitmap(col)),但看起来也是每个数字都new一个bitmap,最后再合并 ,感觉效率会非常低,如果to_bitmap()支持像group_concat一样使用,它就不用频繁地new bitmap,效率是不是更高?
不知道自己理解有没有错,还是说底层有针对这种情况做了优化?
发布于:1个月前 (04-23) IP属地:四川省
白鸥掠海
白鸥掠海
这个之前有看过,但是效率应该是非常低的用法。
目前我了解到的bitmap函数,
to_bitmap是把一个数字转换成bitmap,
在实际使用过程中,
更希望to_bitmap是一个类似 group_concat的函数,
有种迂回的用法是bitmap_union(to_bitmap(col)),但看起来也是每个数字都new一个bitmap,最后再合并 ,感觉效率会非常低,如果to_bitmap()支持像group_concat一样使用,它就不用频繁地new bitmap,效率是不是更高?
不知道自己理解有没有错,还是说底层有针对这种情况做了优化?
如果每个数字都通过to_bitmap转换成一个新的Bitmap,然后全部合并起来,这在效率上可能不是最优的。理论上,如果to_bitmap能直接对一列数字进行分组转换,避免中间创建过多的Bitmap对象,应该可以提高效率
发布于:1个月前 (04-23) IP属地:四川省
我来回答