lac icon indicating copy to clipboard operation
lac copied to clipboard

Published 20 hours ago • verified publisher icon baidu

想做大规模切词怎么加速，比如对20G文本切词

Open yuanjie-ai opened this issue 4 years ago • 3 comments

想做大规模切词怎么加速，比如对20G文本切词

yuanjie-ai avatar Oct 20 '20 07:10 yuanjie-ai

按batch切词即可，比如一次性切32/64个句子，batch size可以根据机器性能调整。

luozhouyang avatar Nov 18 '20 02:11 luozhouyang

单行有字数限制吗？@luozhouyang

crapthings avatar Nov 18 '20 06:11 crapthings

按batch切词即可，比如一次性切32/64个句子，batch size可以根据机器性能调整。

我试过batch切词。。。。结果感觉更慢了，可能是我当时batch没设置对

qiu-nian avatar Jan 08 '21 03:01 qiu-nian