Doris中如何测试分词效果?

提问者:帅平 问题分类:数据库
Doris中如何测试分词效果?
1 个回答
肺少女
肺少女
doris中目前自带的分词有:
1、英文分词器(english): 按空格和标点分词,性能最优(适合英文场景)
2、中文分词器(chinese): 智能中文分词,支持细粒度和粗粒度两种模式(适合中文场景)
3、多语言分词器(unicode): 支持中英文混合、邮箱、IP地址等复杂场景(适合系统日志场景)
如果想要测试分词效果,示例如下:
SELECT TOKENIZE('Doris中如何测试分词效果','"parser"="chinese"');
执行之后就会返回具体的分词信息:
发布于:5个月前 (12-16) IP属地:四川省
我来回答