wechat_articles_spider icon indicating copy to clipboard operation
wechat_articles_spider copied to clipboard

提示公众号cookie或token错误,是被反爬了吗

Open jyzhao1008 opened this issue 10 months ago • 2 comments

我改了下test_WechatUrls.py,用自己注册的公众号的token和cookies,想抓大概20多个公众号8月份至今的所有文章url,之前试过直接每个号抓50个,第一遍好像能抓完,结果没保存下来,后来再抓就报cookie或token错误了,过了一天我改成每个号只抓5个的话也差最后3个公众号抓不到报错,不过我发现有些好设置抓5个,但返回了7-10个文章,还有我用create_time转datetime发现和点开url网页页面上的时间不一致。 主要是有没有啥办法能不被反爬ban掉,可以抓的慢一点,不太方便再搞更多的公众号了。

jyzhao1008 avatar Sep 04 '23 06:09 jyzhao1008