BERT-Embedding-Frequently-Asked-Question icon indicating copy to clipboard operation
BERT-Embedding-Frequently-Asked-Question copied to clipboard

Published 20 hours ago • verified publisher icon hhzrd

分词查询问题

Open lullaby-afa opened this issue 3 years ago • 1 comments

你好，我想问下，搜索查询的时候使用的结巴对query进行分词、去停用词，然后match处理过的process_question，但是es的分词用的是IK，这样是不是有问题的呀？

lullaby-afa avatar Aug 23 '21 09:08 lullaby-afa

你好，我想问下，搜索查询的时候使用的结巴对query进行分词、去停用词，然后match处理过的process_question，但是es的分词用的是IK，这样是不是有问题的呀？

ES里最方便的就是IK分词器，IK分词器一定是要使用的。本质上使用的是结巴的分词，IK分词器拿到结巴的分词结果再按照term去查询。所以其实没有用IK默认的分词结果，只是用了IK分词器来查询。

xiaoyichao avatar Aug 23 '21 10:08 xiaoyichao