EasySpider
EasySpider copied to clipboard
提取到第八个或第九个后一直出现list index out of range的报错
一、网站:https://www.xiaohongshu.com/search_result?keyword=%25E6%2589%25AC%25E5%25B7%259E%25E6%2597%2585%25E6%25B8%25B8%25E6%2594%25BB%25E7%2595%25A5&source=web_explore_feed&type=51
二、流程:
1、
2、
三、出现的问题:打开第八个或第九个连接将数据提取完、图片保存完,就开始将提取的文本数据写进文件了,然后再打开剩余链接提取就开始报以下错,打印的self.OUTPUT也为空了,试过好几次都如此:
四、目标:循环点开每个图文下的链接,获取右边的文本数据,并下载左边的图片; 五、疑问:是因为源码里设置了采集多少条后就会清空self.OUTPUT里的内容,那我该如何实现
以下是我的json文件 331.json