cases icon indicating copy to clipboard operation
cases copied to clipboard

能否实现一下插入指定压缩包的新数据,以及插入数据更新索引的功能,谢谢

Open jeemaker opened this issue 1 year ago • 5 comments

能否实现一下插入指定压缩包的新数据,以及插入数据更新索引的功能,谢谢

jeemaker avatar Jan 31 '24 07:01 jeemaker

能分享一下数据吗?什么格式,怎么打包的?

cncases avatar Jan 31 '24 10:01 cncases

能分享一下数据吗?什么格式,怎么打包的?

就是官网手工下载,不到1000个word,我想法是转化为csv,在你代码基础上,增加读取指定csv,插入到数据库,并更新索引

jeemaker avatar Feb 01 '24 03:02 jeemaker

你可以先贴一篇文档上来看看。如果没有原始的结构,是不太好处理的。另外就是不容易做到幂等,万一搞错了就把原来的数据给污染了。

cncases avatar Feb 02 '24 10:02 cncases

你可以先贴一篇文档上来看看。如果没有原始的结构,是不太好处理的。另外就是不容易做到幂等,万一搞错了就把原来的数据给污染了。

就是从官网下载保存到本地的word,我的想法是,按照你分享的8500w数据格式,使用脚本将本地word转化为csv,再将需要导入的csv文件打成zip包,你的代码里,只需要增加插入指定zip文件功能即可,这样插入数据、更新索引都可以复用现有代码

jeemaker avatar Feb 18 '24 02:02 jeemaker

你可以先贴一篇文档上来看看。如果没有原始的结构,是不太好处理的。另外就是不容易做到幂等,万一搞错了就把原来的数据给污染了。

就是从官网下载保存到本地的word,我的想法是,按照你分享的8500w数据格式,使用脚本将本地word转化为csv,再将需要导入的csv文件打成zip包,你的代码里,只需要增加插入指定zip文件功能即可,这样插入数据、更新索引都可以复用现有代码

如果你可以把word转化为csv当然就简单多了。

cncases avatar Feb 20 '24 03:02 cncases