繁
全部 面试刷题 微服务 数据库 消息队列 搜索引擎 大数据 运维 go语言 机器学习

doris进行join操作的时候报错：memory exceed limit hash join,while constructing the hash table

提问者：帅平 问题分类：大数据
在使用doris进行join操作的时候，直接报错了，提示：Memory exceed limit .Hash join while constructing the hash table. Backend:xxx，具体错误信息如图：
doris进行join操作的时候报错：memory exceed limit hash join,while constructing the hash table

 您阅读本篇文章共花了： 

Doris
发布于：1年前 (2022-11-25) IP属地：四川省
2 个回答
忆雪
忆雪
这种需要考虑下数据倾斜的问题，同时join的时候可以使用Runtime Filter等join优化参数进行优化下join的sql语句。
发布于：1年前 (2022-11-25) IP属地：四川省
曾经多难忘
曾经多难忘
在提示里面已经有提示了:
you can change the limit by session variable exec_mem_limit

所以可以尝试下设置这个值即可：
SET GLOBAL exec_mem_limit = 8589934592;
show variables like "exec_mem_limit";

此时再执行一下就可以了
发布于：1年前 (2022-11-25) IP属地：四川省
帅平
帅平提问者
又重新执行了一遍这个sql，没有更改这个配置，居然成功了。
发布于：1年前 (2022-11-25) IP属地：四川省
相视而笑
相视而笑
又重新执行了一遍这个sql，没有更改这个配置，居然成功了。
这种问题建议设置一下，因为重新跑一遍又成功了，下次跑的时候也可能再次遇到。出现这种问题一般是数据倾斜的问题，在设计表的时候要充分考虑数据倾斜的问题
发布于：1年前 (2022-11-25) IP属地：四川省
我来回答