MoivesSpider icon indicating copy to clipboard operation
MoivesSpider copied to clipboard

Published 20 hours ago • verified publisher icon monkey-soft

这程序需要运行多长时间啊。是不是把所有信息爬完统一录入数据库啊

Open AndrewLius opened this issue 2 years ago • 1 comments

AndrewLius avatar Jan 06 '23 02:01 AndrewLius

是的，检索完网站所有的信息，才会入库。我记得运行一次大概要1-2小时。其实代码可以优化下，做断点续传功能，即定时存储到数据库。

monkey-soft avatar Apr 06 '23 06:04 monkey-soft

做个判断把数据库里最新的ID获取到，爬的时候新增的再爬，已存在的跳过会越来越快

gjxq avatar Feb 06 '25 04:02 gjxq