scraper
scraper copied to clipboard
根据关键字爬取图片
您好,运行该代码时发现必须指定用户Id或者用户名,如果想根据某一个关键词 下载任意用户的作品,不指定用户,该如何运行呢? 感谢指导!
按关键字获取数据:
https://www.zcool.com.cn/search/content?word=关键字
判断有多少页,再调用下面接口:
https://www.zcool.com.cn/search/content?type=0&field=0&other=0&sort=5&word=关键字&recommend=0&time=0&p=页数
把每一页的里面的作品的<username>和<topic>信息提取出列表里,
再按该项目的python crawler.py -u <username> -t <topic>命令行来爬取
大概思路是这样的,供参考
@Echosanmao 抱歉,才看到。
目前不支持根据关键字下载,主要是考虑到根据关键字搜索的内容质量参差不齐,下载的作品可能绝大部分不是想要的。
等我有空可以增加这个功能,最近太忙了。
可以自己建一个收藏夹,收录 topic 后下载整个收藏夹 #3