proxy_pool
proxy_pool copied to clipboard
建议可自定义schedule时间
代理使用不频繁时,不希望schedule频繁去Fetch和Check。因此,建议可自定义schedule更新时间,可自定义days或minutes,最好可通过环境变量传入,方便Docker使用。希望采纳,谢谢~
好建议,后续可以加上。现在配置都是通过配置文件和环境变量两种方式配置的
作者现在的默认配置是每4分钟采集,每2分钟检查。你要是想改的话,在 ./helper/scheduler.py里分别修改scheduler.add_job(__runProxyFetch) 和 scheduler.add_job(__runProxyCheck) 的参数。比如你想要每天采集一次,可以设置:
scheduler.add_job(__runProxyFetch, 'interval', days=1, id="proxy_fetch", name="proxy采集")
如果你想要固定的日期时间执行,可以用 'cron' 作为 trigger,比如在每星期一到星期五的5:30采集一次:
scheduler.add_job(__runProxyFetch, 'cron', day_of_week='mon-fri', hour=5, minute=30, id="proxy_fetch", name="proxy采集")
不过作者的确可以考虑在外面写个接口传入,方便省事。
作者现在的默认配置是每4分钟采集,每2分钟检查。你要是想改的话,在 ./helper/scheduler.py里分别修改scheduler.add_job(__runProxyFetch) 和 scheduler.add_job(__runProxyCheck) 的参数。比如你想要每天采集一次,可以设置:
scheduler.add_job(__runProxyFetch, 'interval', days=1, id="proxy_fetch", name="proxy采集")
如果你想要固定的日期时间执行,可以用 'cron' 作为 trigger,比如在每星期一到星期五的5:30采集一次:
scheduler.add_job(__runProxyFetch, 'cron', day_of_week='mon-fri', hour=5, minute=30, id="proxy_fetch", name="proxy采集")
不过作者的确可以考虑在外面写个接口传入,方便省事。
嗯,感谢您的答复,我用docker部署的,目前在容器里改的代码,但想通过改好的Docker镜像升级我的部署,所以提了issue,希望作者可以尽快加入环境变量自定义schedule时间。谢谢~