[BUG]关于抖音纯图片博主图片基本无法下载的问题
0.0.1.7版本现在在抓取某些大量发图片或者只发图片的博主的时候,会将图片识别成WEBP文件,然后导致各种报错,基本上就完全没办法抓取图片了,电脑风扇也会因此呼呼的转,印象中过去还能下,最近不行了。用0.0.1.5版本这样的博主有一些可以正常下载,识别成JPG,虽说也经常报错吧,但基本能下载个七七八八,是否可以查一下是什么问题呢,有没有可能修复呢,谢谢
webp才是原图格式,之前的jpg后缀但是编码依旧是webp,用新版图片查看器打卡会卡死一会,故保留成原始格式供用户自行转码
webp才是原图格式,之前的jpg后缀但是编码依旧是webp,用新版图片查看器打卡会卡死一会,故保留成原始格式供用户自行转码
格式的问题不大,我发现我表述的也有可能引起歧义,主要是0.0.1.7现在是完全无法下载那种纯图片或者基本纯图片的博主的图了,一开始电脑风扇就狂转,速度级慢且一开始就报错,属于完全没法下载的那种,至少上个月应该还是可以的,所以想问问有没有什么办法可以解决
webp才是原图格式,之前的jpg后缀但是编码依旧是webp,用新版图片查看器打卡会卡死一会,故保留成原始格式供用户自行转码
格式的问题不大,我发现我表述的也有可能引起歧义,主要是0.0.1.7现在是完全无法下载那种纯图片或者基本纯图片的博主的图了,一开始电脑风扇就狂转,速度级慢且一开始就报错,属于完全没法下载的那种,至少上个月应该还是可以的,所以想问问有没有什么办法可以解决
那你切换回0.0.1.6版本还是这个情况吗,我测试过纯图片每个作品一百张图的情况,由于创建的任务比较多,而且新版提升了异步的性能导致比较吃io,你可以发一下测试的对比和账号吗
webp才是原图格式,之前的jpg后缀但是编码依旧是webp,用新版图片查看器打卡会卡死一会,故保留成原始格式供用户自行转码
格式的问题不大,我发现我表述的也有可能引起歧义,主要是0.0.1.7现在是完全无法下载那种纯图片或者基本纯图片的博主的图了,一开始电脑风扇就狂转,速度级慢且一开始就报错,属于完全没法下载的那种,至少上个月应该还是可以的,所以想问问有没有什么办法可以解决
那你切换回0.0.1.6版本还是这个情况吗,我测试过纯图片每个作品一百张图的情况,由于创建的任务比较多,而且新版提升了异步的性能导致比较吃io,你可以发一下测试的对比和账号吗
0.0.1.5虽然会丢失文件但整体可以下载,0.0.1.7目前的情况是几乎无法下载了。比如这个链接:https://www.douyin.com/user/MS4wLjABAAAAIXw8IVEkY78I6PZy5ji7tS-t7lZ-iLuzYtY211oo5RyUcyEmFJcVHrxjETuvHyWj https://www.douyin.com/user/MS4wLjABAAAAgI2uJqPLrhseTI8h6QgE4ta0RR9HenQDoLDE5n9_d3mklc1LLEfY6TDMQik-wWIT?from_tab_name=main&vid=7468226342501322020 https://www.douyin.com/user/MS4wLjABAAAAuSEs2ZUY67GSuMOxQDNjY36rUZNyZMaUjxQjVnx4rCh41RGhPSYaA8lABfjeKTv6?from_tab_name=main&vid=7467773450933767462 如果您测试是正常的,那就是我的问题,我自己去排查了。我的电脑性能应该不是瓶颈,下载目标是固态硬盘,CPU是12900K,显卡是4070
我这边跑了一会没有遇到无法下载的情况,图片我看也是完整的
可能是高并发让抖音的部分图片cdn拒绝服务了,可以降低max_tasks参数限制一下并发
可能是高并发让抖音的部分图片cdn拒绝服务了,可以降低
max_tasks参数限制一下并发
辛苦了,我自己这两天也测试了一下,发现虽然会导致风扇狂转,虽然看起来很慢没什么进度,但只要愿意等,其实还是能下载完的,只是相对抓取视频或者视频图片混发的那些博主的要慢很多。只要能下载完我就满意了,这个问题算是解决了。 MAX_TASKS我设置的是5,下次设置低一点试试。
可能是高并发让抖音的部分图片cdn拒绝服务了,可以降低
max_tasks参数限制一下并发
我其实就很奇怪一点,抓那些也经常发图,但是图和视频交替发的博主的时候不光抓的非常流畅,下载也没问题,他们图的量也不少,在我这和那些只有图片的博主的表现完全不同,抓纯图博主的时候从一开始就卡顿加风扇转加速度慢了,我一直都没想通到底为什么会这样
最近这两天看起来情况好多了