scrapy-examples icon indicating copy to clipboard operation
scrapy-examples copied to clipboard

doubanbook项目爬不了关于subject的页面

Open applo opened this issue 8 years ago • 2 comments

运行项目发现只能爬取出关于tag的url,之后直接就结束了,没有打印任何item信息,请问是什么问题?

applo avatar Sep 22 '16 13:09 applo

前一段豆瓣改版,可能css失效了,你可以尝试更新下规则,我有空也会看看

geekan avatar Sep 22 '16 16:09 geekan

On 周五, 9月 23, 2016 at 12:43 上午, geekan [email protected] wrote: 前一段豆瓣改版,可能css失效了,你可以尝试更新下规则,我有空也会看看

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub [https://github.com/geekan/scrapy-examples/issues/10#issuecomment-248959464] , or mute the thread [https://github.com/notifications/unsubscribe-auth/ARdZu1bpkxaXBQtJCHC9uz-eDjeSAU9Tks5qsrAcgaJpZM4KD4WH] .

在代码中,subject和item的url提取都是通过正则表达式提取的,现在执行的结果是取不出subject的url,应该不会是css的问题吧? 会不会是因为在starturl中没有关于item的url所以找不到?我不是很懂rule中提取的流程。

applo avatar Sep 23 '16 00:09 applo