weibo-search issues

如何爬取话题页含关键词的所有话题名称

1

大佬好我想爬取微博话题页包含“人间”两个关键词的所有话题名称，请问该怎么做出更改呢 ![image](https://github.com/dataabc/weibo-search/assets/152331105/3b5f88c8-d41a-414a-bcb7-2b48ab60295e) 如图所示，只需要话题名称-讨论量-阅读量，不用显示下面的具体微博

EvyyNew

昨天都还是正常的可以爬取数据，今天早上就续行了，很多字段报错，下面只是其中一个，之前改了一些修复了一些，现在还有，求大佬解答 Traceback (most recent call last): File "C:\Users\\.conda\envs\Network_spider\lib\site-packages\scrapy\utils\defer.py", line 279, in iter_errback yield next(it) File "C:\Users\\.conda\envs\Network_spider\lib\site-packages\scrapy\utils\python.py", line 350, in __next__ return next(self.data) File "C:\Users\\.conda\envs\Network_spider\lib\site-packages\scrapy\utils\python.py", line 350, in __next__ return next(self.data)...

Junqiao77

请问可以知道所发微博的市级单位的地点吗

2

lzy1107

运行命令后无反应与 split, replace问题，爬取的点赞数据为0的解决方法

6

1、运行scrapy crawl search之后无反应。 a. 尝试更换cookie b. 不要在半夜12点左右运行。 2、 split, replace等问题的解决方法。尝试修改p[@Class="from"]为div[@Class="from"]或div[@class="from"]，或根据控制台element进行相应元素类名标签名的修改。以上为本人踩坑一天以来进行的所有尝试，欢迎各位大佬纠正。谢谢作者源代码。爬取的所有数据点赞为0，出现这个问题的原因可能是因为相关元素标签和类名发生了更改（f12可以看到）修改方法如下： `attitudes_count = sel.xpath('(.//span[@class="woo-like-count"])[last()]/text()').extract_first()` 改为 ` attitudes_count = sel.xpath('.//a[@action-type="feed_list_like"]/em/text()').extract_first()` 下文同理

hyue0768

更换setting之后依然爬出之前的结果

7

开始时无论怎么更换search名字都是抓取到相同的300条后自动停止。按照#66 替换了代码，更改了cookie，更改了setting里的日期，删除了原来的结果文件和crawl文件，但爬出来的依然是一开始的300条。请问可能是哪里有问题？

LOUISELUO2023

请问为什么更改setting的关键词之后不会生成新的结果文件

3

运行第一次的时候生成了一个结果文件；后来更换了关键词并重启了Spyder，重新运行scrapy之后只会把结果输出到前一个结果文件里

LOUISELUO2023

pip install scrapy可以运行但是加上 -s JOBDIR=crawls/search再运行就没反应了

1

作者您好，为什么我运行的时候scrapy crawl search可以成功开始爬虫，但是运行scrapy crawl search -s JOBDIR=crawls/search就没反应

L1ner313

大佬，为什么我运行后报错呀，T T

8

D:\Desktop\爬虫\weibo-search-master>scrapy crawl search Traceback (most recent call last): File "C:\Users\lenovo\AppData\Local\Programs\Python\Python310\lib\runpy.py", line 196, in _run_module_as_main return _run_code(code, main_globals, None, File "C:\Users\lenovo\AppData\Local\Programs\Python\Python310\lib\runpy.py", line 86, in _run_code exec(code, run_globals) File "C:\Users\lenovo\AppData\Local\Programs\Python\Python310\Scripts\scrapy.exe\__main__.py", line 7,...

lsw-777