weibo-crawler icon indicating copy to clipboard operation
weibo-crawler copied to clipboard

Published 20 hours ago • verified publisher icon dataabc

爬取设置仅半年可见的微博用户

Open HongzhangXie opened this issue 2 years ago • 1 comments

程序中计算用户pages的算法为微博数/10。如果该用户5年每年发了2000条微博，且设置仅半年可见。按算法page number = 10000/10 = 1000页。但由于仅半年可见，实际页面数仅有100页。程序爬到100页后会自动尝试爬后续900页，造成时间浪费。建议可以检查每次爬取页面的内容，若连续为空页面，则爬取下一个用户。

另外还有个小问题，就是有时候爬着爬着就卡在那，不报错也不动。这个是微博限制导致的正常情况吗？

感谢

HongzhangXie avatar Jun 10 '23 07:06 HongzhangXie