wechat-spider icon indicating copy to clipboard operation
wechat-spider copied to clipboard

开源微信爬虫:爬取公众号所有 文章、阅读量、点赞量和评论内容。易部署。持续维护!!!

Results 55 wechat-spider issues
Sort by recently updated
recently updated
newest added

求大佬解答! 遇到个别微信文章,程序运行采集具体文章时,会停留在改文章页面,虽然显示x秒后刷新,但实际无法刷新到下一篇,但程序依然在运行没有报错或者中止,导致采集事实上中断。这些文章而且往往集中出现在个别公众号。 查看这些文章: 表现为无论手机或者电脑端打开,在这些文章结尾,70%情况刷不出"阅读,在看,点赞的数量",也没有评论(但偶尔这些又刷得出) 发生问题的公众号: MzI0NjQ2MTgwMQ== 这些页面的url如下: https://mp.weixin.qq.com/s?__biz=MzI0NjQ2MTgwMQ==&mid=2247484887&idx=1&sn=765426799ac0763181d77451eb81c22c&chksm=e9bfa1d1dec828c70849da53924ff7b1003774f80099f6ffff9a3fe48ae95ec04430d7c75878&scene=27&key=01c80ebb0e8b53d5e6d6f48a0383f5d304bb316e9108d3306d77 https://mp.weixin.qq.com/s?__biz=MzI0NjQ2MTgwMQ==&mid=2247485350&idx=1&sn=066a7f35c6e3db790f46066ed4bea8db&chksm=e9bfa3a0dec82ab607579c496e3efb4cb14a351f4a1e69ad100429c95e1d15d5f86b97f73011&scene=27&key=01c80ebb0e8b53d53699a4d08f6e08dd75d038e1cffd53615221 https://mp.weixin.qq.com/s?__biz=MzI0NjQ2MTgwMQ==&mid=2247495601&idx=1&sn=abc1bced5c7cf4e6adbb94e95e89452a&chksm=e9bc4bb7decbc2a1a0574268271385e6fea62d7104f9f4c9ef6be006f3f7784bf65a820adef1&scene=27&key=62a7fb7a03c8730e384d2027261c54d1324a7c87345d746baede https://mp.weixin.qq.com/s?__biz=MzI0NjQ2MTgwMQ==&mid=2247485923&idx=1&sn=957b77b73aaab2f7a6826e8cd6843189&chksm=e9bfade5dec824f3733cb875211e4d595e0f08dc9dd46f051cf85022618a0eb62ae55f7266f4&scene=27&key=ac46451f47ae34ec386354b14d044bc06adb8f15465e47c375a9 配置: 微信3.3.5电脑版 没有更新mitm到最新版

一、重现步骤 1. mysql里面task表,下发任务 2. 设置代理 3. 进入历史消息 4. 参考链接:https://mp.weixin.qq.com/mp/video?__biz=MzA3OTk1NTkyNw==&mid=2454261633&sn=3f48492cb3b2497cd155237998d89dff&vid=q1310iwnkzn&idx=1&scene=27&fromid=1&uin=&key=&devicetype=Windows+10+x64&version=63010048&lang=zh_CN&ascene=7&fontgear=2 二、期望结果 含有视频的文章爬取文字后,继续进入下一篇文章的爬取 三、实际结果 只要文章含有视频,就开始播放视频,然后停止工作,即便重新进入微信历史消息,也会跳转到含有视频这一篇文章,无法跳过。

192.168.1.4:34409: CONNECT mmbiz.qpic.cn:443

温馨提示:服务IP 192.168.1.15 端口 8877# 服务的端口 请确保代理已配置 Traceback (most recent call last): File "run.py", line 38, in File "run.py", line 25, in start File "site-packages\mitmproxy\options.py", line 165, in __init__ File "site-packages\mitmproxy\optmanager.py",...

今天突然出问题了,抓文章全部抓不到标题了?不知道大家伙们是不是也这样?

运行了,然后也看了源代码,不能抓取视频地址。可以把m3u8视频地址也记录在 pics_url 字段吗?

关于微信的搜一搜、看一看的数据,是否有方法进行采集? 目前通过fiddler,是无法抓取到,这方面的api接口的