Results 23 comments of 肥牛

同样,现在各种方式都过不了,难受。头发掉了一大把

I use scrapy-splash and scrapy-redis RedisCrawlSpider can running. Need to rewrite ```python def start_requests(self): for url in self.start_urls: yield SplashRequest(url=url, callback=self.parse_m, endpoint='execute', dont_filter=True, args={ 'url': url, 'wait': 5, 'lua_source': default_script...

me too. How to solve?

就是这样的,文书网现在反爬太严格了,我网页刷新快了都不行。。。。。

@liangxp 忘记说了,splash返回的cookie中,需要去除wzws_cid这个cookie

@python-liuqingqing 遇到同样的问题,这好像IP被封了,但是加上代理,仍然很少返回80S,80T。还在找解决方法

@liangxp 我再本地IP没被封禁的情况下,爬取的确也会返回sojson的页面, 我的处理是遇到sojson就用那个解析出正确的URL重试,在本地爬取速度还可以