1 个回答
doris中目前自带的分词有:

1、英文分词器(english): 按空格和标点分词,性能最优(适合英文场景)
2、中文分词器(chinese): 智能中文分词,支持细粒度和粗粒度两种模式(适合中文场景)
3、多语言分词器(unicode): 支持中英文混合、邮箱、IP地址等复杂场景(适合系统日志场景)
如果想要测试分词效果,示例如下:SELECT TOKENIZE('Doris中如何测试分词效果','"parser"="chinese"');
执行之后就会返回具体的分词信息:
发布于:5个月前 (12-16) IP属地:四川省
我来回答
您需要 登录 后回答此问题!