weibo-search
weibo-search copied to clipboard
运行命令后无反应 与 split, replace问题,爬取的点赞数据为0的解决方法
1、 运行scrapy crawl search之后无反应。 a. 尝试更换cookie b. 不要在半夜12点左右运行。 2、 split, replace等问题的解决方法。 尝试修改p[@Class="from"]为div[@Class="from"]或div[@class="from"],或根据控制台element进行相应元素类名标签名的修改。 以上为本人踩坑一天以来进行的所有尝试,欢迎各位大佬纠正。 谢谢作者源代码。
爬取的所有数据点赞为0,出现这个问题的原因可能是因为相关元素标签和类名发生了更改(f12可以看到)
修改方法如下:
attitudes_count = sel.xpath('(.//span[@class="woo-like-count"])[last()]/text()').extract_first()
改为
attitudes_count = sel.xpath('.//a[@action-type="feed_list_like"]/em/text()').extract_first()
下文同理