繁
全部 面试刷题 微服务 数据库 消息队列 搜索引擎 大数据 运维 go语言 机器学习

1.2.8的Doris，能通过Spark connector的方式写入Bitmap类型吗？

提问者：帅平 问题分类：数据库
1.2.8的Doris，能通过Spark connector的方式写入Bitmap类型吗？
Doris
发布于：2周前 (04-23) IP属地：四川省
3 个回答
伤疤
伤疤
应该OK的、to_bitmap这个挺早就支持了，类似：
"doris.write.fields"="col1,col2,col3,bitmap_col2=to_bitmap(col2),bitmap_col3=bitmap_hash(col3)"
发布于：2周前 (04-23) IP属地：四川省
帅平
帅平提问者
这个之前有看过，但是效率应该是非常低的用法。
目前我了解到的bitmap函数，
to_bitmap是把一个数字转换成bitmap，
在实际使用过程中，
更希望to_bitmap是一个类似 group_concat的函数，
有种迂回的用法是bitmap_union(to_bitmap(col)),但看起来也是每个数字都new一个bitmap，最后再合并 ，感觉效率会非常低，如果to_bitmap()支持像group_concat一样使用，它就不用频繁地new bitmap，效率是不是更高？
不知道自己理解有没有错，还是说底层有针对这种情况做了优化？
发布于：2周前 (04-23) IP属地：四川省
白鸥掠海
白鸥掠海
这个之前有看过，但是效率应该是非常低的用法。
目前我了解到的bitmap函数，
to_bitmap是把一个数字转换成bitmap，
在实际使用过程中，
更希望to_bitmap是一个类似 group_concat的函数，
有种迂回的用法是bitmap_union(to_bitmap(col)),但看起来也是每个数字都new一个bitmap，最后再合并 ，感觉效率会非常低，如果to_bitmap()支持像group_concat一样使用，它就不用频繁地new bitmap，效率是不是更高？
不知道自己理解有没有错，还是说底层有针对这种情况做了优化？
如果每个数字都通过to_bitmap转换成一个新的Bitmap，然后全部合并起来，这在效率上可能不是最优的。理论上，如果to_bitmap能直接对一列数字进行分组转换，避免中间创建过多的Bitmap对象，应该可以提高效率
发布于：2周前 (04-23) IP属地：四川省
我来回答