jandan_spider

jandan_spider copied to clipboard

wbsds

刚开始学计算机，自己无脑刚了3个月了，一直都没能在实际生活中用上这些东西，突然从大佬分享的这个爬虫项目中看到了明天灿烂的日子，哈哈，加油，奥里给！

archenRen

煎蛋网好像新增加了反扒机制

2

好像对源码中的图片链接做了处理，我技术不到位，扒不出来咯

Rail1gun

建议添加目录及增量下载

2

建议： 1. 下载文件放到目录中； 2. 添加重复处理，已下载的文件不再被下载。 ---- 建立一个缓存文件，下载后的文件URL记录下来。第二次运行时，查看缓存文件，若已存在则跳过该文件。

kabumos