MediaCrawler
MediaCrawler copied to clipboard
dy和xhs二维码登录方式成功率大大降低
dy和xhs两大平台现在检测playwright自动化驱动的手段已经更新了,当前的已失效(成功很低了),扫码之后大概率会再一次出现双重验证。
xhs的表象为:扫码之后手机上选择登录成功后,浏览器还会出现滑动验证码 dy的表象为:扫码之后手机上选择登录成功后,浏览器会弹出一个对话框,让你发送短信验证
所以基于上面的反爬检测,建议使用cookies登录。
cookies登录如下
正常浏览器成功登录对应平台
- F12进入浏览器控制台,随便找一个
xhr接口,复制请求头的headers - 在config/base_config.py中添加上一部复制的cookies,填写到下面的COOKIES https://github.com/NanmiCoder/MediaCrawler/blob/46f8cc064acc145651d415cb2660b3d3af984707/config/base_config.py#L4-L5
cookies登录命令行
# 在执行这个命令前,最好把browser_data目录下的对应平台目录删除,比如下面是抖音的,则删除:`dy_user_data_dir`
python3 main.py --platform dy --lt cookie --type search
最后
如果cookies的方式还是会出现滑块,那么手动过一下吧,目前已经将登录态的检测时间调整为5分钟。