weibo-search icon indicating copy to clipboard operation
weibo-search copied to clipboard

关键词与实际爬取数据不一致问题

Open Miaoz1 opened this issue 2 years ago • 3 comments

首先感谢您的代码!我在运行的过程中发现我输入的关键词与实际爬取数据内容不一致的问题。我输入的关键词为“不会再用携程”,实际爬到的数据有“'哇收到了携程的礼盒!那个小包包打开是个笔记本~红包今年有新的可以用了”等非常多不相关的数据,请问应该怎么调整呢?

Miaoz1 avatar Jun 30 '23 11:06 Miaoz1

程序调用的微博搜索,如果微博搜索结果不一致就会出现上面的情况。可以修改pipelines.py最后的方法,如果不包含关键词就drop。

dataabc avatar Jun 30 '23 17:06 dataabc

感觉程序是不是搜索了微博的评论?不一致的内容实际上是匹配的某条微博的评论?

WeiLyu59 avatar Aug 06 '23 05:08 WeiLyu59

@vivianlvvv 程序模仿了s.weibo.com搜索,它是什么结果就获取什么,不确定是否包含评论。

dataabc avatar Aug 06 '23 17:08 dataabc