下载不到100个就会遇到parse url fail

[loveQt]

用的控制台交互进行下载。

可能和访问频率有关？

自己去代码里找太麻烦了，能不能暴露出配置延时、控制频率的办法。

或者有没有好的办法解决失败的问题。

[loveQt]

另外to-do里面列的几个能否放examples出来，在项目里没有找到

[HeLiangHIT]

parser video url fail from xxx 这个错误 有一定概率是访问频率太快服务端做了限制，可以重新运行一下。另外可以修改 util.py 里面的 get_sign_params 函数下面的 expired 时间，调短一点可以更快的刷新签名验证；以及修改common_params里面的 APPINFO 增加一定的随机性防止被限。

TODO 里面的例子：

1. 从首页依次爬取抖音所有点击量超过1w的视频下载 参考 douyin_tool.py 里面的 get_main_page 函数，也可以参考 https://github.com/Python3WebSpider/DouYin 工程。
2. 爬取自己关注的人->爬取他们关注的人 可以参考 douyin_downloader.py 里面 main 函数 follow 参数对应的分支。
3. 美女自动识别？ 以及写了参考工程了~

[loveQt]

上面的问题解决了。今天新遇到 util.py:199 MainThread:curl WARNING] curl https://aweme.snssdk.com/aweme/v1/user/following/list/ with method=GET failed, retry with new signed params!

接口被封？或者signed算法变了？

[HeLiangHIT]

接口并没有封，可能服务器压力太大忙不过来~重试几次都会成功。不过这个 signed 算法目前好没有研究，如果能自己签名的话效率会高很多。