ChineseWordSegmentation icon indicating copy to clipboard operation
ChineseWordSegmentation copied to clipboard

verified publisher icon Moonshile
→

Metadata

Chinese word segmentation algorithm without corpus（无需语料库的中文分词）

Results 2 ChineseWordSegmentation issues
Sort by recently updated
recently updated
newest added

doc输入如果是几十万行的文本的话，100g内存的机器都跑步起来

2 comment

我们的语料库有几十万行，文件大小大概1G，这些文本作为doc输入，直接就oom了，有没有处理这种情况的好方法。

zhegeliang2 avatar zhegeliang2

大量数据的效率问题

3 comment

如果是大量的数据，效率会不会很低？

qiaofei32 avatar qiaofei32

← Metadata

497
Stars
120
Forks
Watchers

Owner

verified publisher icon Moonshile

Metadata

Chinese word segmentation algorithm without corpus（无需语料库的中文分词）

Back