jerryWebSpider
jerryWebSpider copied to clipboard
tuwanAlbumSpider必须依赖已爬取的数据吗
由于这边不太熟悉Java,想自己用Python写一个,不幸url字段已经移除。查看源码似乎没有发现如何获取图片链接,请指教。
由于这边不太熟悉Java,想自己用Python写一个,不幸url字段已经移除。查看源码似乎没有发现如何获取图片链接,请指教。
不需要依赖已爬取得数据,tuwanAlbumSpider的原理是利用缩略图地址推导出真实的大图地址,核心逻辑集中于jerryWebSpider/src/main/java/com/hytcshare/jerrywebspider/task/TuwanAlbumSpiderTask.java的translateUrl方法,关键部分加了注释,可以看看哦
由于这边不太熟悉Java,想自己用Python写一个,不幸url字段已经移除。查看源码似乎没有发现如何获取图片链接,请指教。
不需要依赖已爬取得数据,tuwanAlbumSpider的原理是利用缩略图地址推导出真实的大图地址,核心逻辑集中于jerryWebSpider/src/main/java/com/hytcshare/jerrywebspider/task/TuwanAlbumSpiderTask.java的translateUrl方法,关键部分加了注释,可以看看哦
基于你的java实现了一个Python版本 https://github.com/bignnonster/tuwan_crawler