weibo-crawler icon indicating copy to clipboard operation
weibo-crawler copied to clipboard

微博爬取的局部效率优化建议

Open byghit opened this issue 3 years ago • 1 comments
trafficstars

因不太熟悉python,不好直接改代码。所以提个建议。 发现一个优化点,当配置只爬取原创,过滤转发微博时,在获取微博内容时,可以直接忽略转发的微博,而不是在获取微博信息后根据是否过滤再忽略,毕竟主要花时间的地方是在获取信息上,特别是微博是长微博时效率更明显。

byghit avatar Feb 05 '22 02:02 byghit

感谢建议。目前使用的接口无法直接获取原创微博,只能先全部然后筛选。还是非常感谢建议的,如果还有建议欢迎继续讨论。

dataabc avatar Feb 11 '22 09:02 dataabc