ECDICT
ECDICT copied to clipboard
上百万的数据,全文搜索效率是怎么样的?
我对py不是很熟,只是简单的用你提供的代码转为SQL。然后准备使用时,有一个模糊匹配问题。 按照sqlite官方说法(https://www.sqlite.org/fts3.html), 使用like去匹配,效率太低(22.5秒),使用fts的match去匹配只要0.03秒。 现在将你的py代码稍微改了一下创建虚拟表来使用,但是导出好慢好慢。(77万数据集那个,平均2分钟走1%)
你不要直接修改 stardict.py,而是重新写一个 export.py 里面 import stardict 就行。全文检索你需要其他全文检索工具,不是 sql,比如 elastic search, xapian 之类的。
你不要直接修改 stardict.py,而是重新写一个 export.py 里面 import stardict 就行。全文检索你需要其他全文检索工具,不是 sql,比如 elastic search, xapian 之类的。
🤔关键是用在移动端,应该只能用sqlite吧。