hanlp-lucene-plugin icon indicating copy to clipboard operation
hanlp-lucene-plugin copied to clipboard

文本中的换行(\n)很否自动去掉

Open liuzhen6835 opened this issue 6 years ago • 1 comments

如果是一个字符串,可以提前把 \n去掉,但是在一个文本中,比如text中,那就需要把text全部读出来,去掉\n在进行分词,很消耗内存。在文本中一个词中间换行,应该很常见的。

liuzhen6835 avatar Jan 22 '19 09:01 liuzhen6835

如果去掉\n,highlighter就会对不齐。

hankcs avatar Jan 22 '19 13:01 hankcs