jerryWebSpider icon indicating copy to clipboard operation
jerryWebSpider copied to clipboard

tuwanAlbumSpider必须依赖已爬取的数据吗

Open RikaKagurasaka opened this issue 6 years ago • 2 comments

由于这边不太熟悉Java,想自己用Python写一个,不幸url字段已经移除。查看源码似乎没有发现如何获取图片链接,请指教。

RikaKagurasaka avatar Feb 09 '19 17:02 RikaKagurasaka

由于这边不太熟悉Java,想自己用Python写一个,不幸url字段已经移除。查看源码似乎没有发现如何获取图片链接,请指教。

不需要依赖已爬取得数据,tuwanAlbumSpider的原理是利用缩略图地址推导出真实的大图地址,核心逻辑集中于jerryWebSpider/src/main/java/com/hytcshare/jerrywebspider/task/TuwanAlbumSpiderTask.java的translateUrl方法,关键部分加了注释,可以看看哦

jrhu05 avatar Feb 12 '19 04:02 jrhu05

由于这边不太熟悉Java,想自己用Python写一个,不幸url字段已经移除。查看源码似乎没有发现如何获取图片链接,请指教。

不需要依赖已爬取得数据,tuwanAlbumSpider的原理是利用缩略图地址推导出真实的大图地址,核心逻辑集中于jerryWebSpider/src/main/java/com/hytcshare/jerrywebspider/task/TuwanAlbumSpiderTask.java的translateUrl方法,关键部分加了注释,可以看看哦

基于你的java实现了一个Python版本 https://github.com/bignnonster/tuwan_crawler

bignnonster avatar Mar 24 '19 05:03 bignnonster