ECDICT icon indicating copy to clipboard operation
ECDICT copied to clipboard

上百万的数据,全文搜索效率是怎么样的?

Open 1079278593 opened this issue 5 years ago • 2 comments

我对py不是很熟,只是简单的用你提供的代码转为SQL。然后准备使用时,有一个模糊匹配问题。 按照sqlite官方说法(https://www.sqlite.org/fts3.html), 使用like去匹配,效率太低(22.5秒),使用fts的match去匹配只要0.03秒。 现在将你的py代码稍微改了一下创建虚拟表来使用,但是导出好慢好慢。(77万数据集那个,平均2分钟走1%)

1079278593 avatar Jan 09 '20 02:01 1079278593

你不要直接修改 stardict.py,而是重新写一个 export.py 里面 import stardict 就行。全文检索你需要其他全文检索工具,不是 sql,比如 elastic search, xapian 之类的。

skywind3000 avatar Jan 09 '20 03:01 skywind3000

你不要直接修改 stardict.py,而是重新写一个 export.py 里面 import stardict 就行。全文检索你需要其他全文检索工具,不是 sql,比如 elastic search, xapian 之类的。

🤔关键是用在移动端,应该只能用sqlite吧。

1079278593 avatar Jan 09 '20 03:01 1079278593