weiboSpider icon indicating copy to clipboard operation
weiboSpider copied to clipboard

爬取广州地铁微博号有一大部分内容爬取不连续,不知道是啥原因导致

Open 787253600 opened this issue 9 months ago • 6 comments

【悠悠报客流:昨日回顾】,我主要爬的是客流量,但是不连续,微博每天都会发一条但是这个爬虫,爬不到是为啥呢

787253600 avatar Mar 24 '25 15:03 787253600

是不是把end_date设置成某个日期了?这样会漏部分微博,改成"now"就可以了。

dataabc avatar Mar 24 '25 17:03 dataabc

是不是把end_date设置成某个日期了?这样会漏部分微博,改成"now"就可以了。

也没有,now也试过了,但是我自己根据大佬写的我重新编了下代码,我就能抓取到

787253600 avatar Mar 25 '25 00:03 787253600

方便说下具体修改了什么地方吗

dataabc avatar Mar 25 '25 03:03 dataabc

抱歉,我也不太清楚,我让AI像这篇一样去爬取用lsml,我之前动态爬取不是这个微博网站,不行,所以采用了这个方案,我不知道是不是由于转发内容抓取不全信息。我在我的代码中调了转发内容跟主文本合并

787253600 avatar Mar 25 '25 04:03 787253600

感谢。

dataabc avatar Mar 25 '25 06:03 dataabc

感谢您的代码帮助。

787253600 avatar Mar 25 '25 12:03 787253600

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your contributions.

stale[bot] avatar Jun 27 '25 01:06 stale[bot]

Closing as stale, please reopen if you'd like to work on this further.

stale[bot] avatar Jul 19 '25 01:07 stale[bot]