NovelCrawler
NovelCrawler copied to clipboard
Published
20 hours ago •
YanyeZhang
YanyeZhang
基于Scrapy的爬虫demo
追书神器（一）—Scrapy入门
- 运行脚本可以抓取指定的url上的最新小说
- 过滤掉无用标签和信息
- 存成本地HTML文件
- 按照链接抓取
- 按章节命名
todo
二期
- html文件模板 -(jinjia2)
- 调动scrapy框架
- 从指定站点抓取任意的小说
- 每天定时抓取
三期
- 多站点抓取
- 阿里云部署
- 微信公众平台 or 小程序
YanyeZhang