aio-scrapy
aio-scrapy copied to clipboard
process_exception 未起作用
下载中间键的process_response()函数,代码异常或者主动抛出的IgnoreRequest ,在后续的中间键的process_exception()并不能捕获到
scrapy在下载中间键的process_response中的异常,也是不会走process_exception的吧, process_response中的异常要自己处理,要么IgnoreRequest 要么retry