jhao104
关于日志
1.可否添加通过env设置想要输出的logging 等级？ 目前跑了一天生产了20~30M的日志，然而跑起来大多checker 和 fetcher logging 都没什么实际意义？
如果只想看到warnning 以上的日志的话是否可以增加以下类似的代码？
logging.basicConfig(level=logging.WARNING)
2.launcher.log 暴露了redis的密码，这样似乎有些不太安全？
2021-10-02 03:02:37,353 launcher.py[line:45] INFO ProxyPool Version: 2.3.0 2021-10-02 03:02:37,354 launcher.py[line:50] INFO ProxyPool configure HOST: 0.0.0.0 2021-10-02 03:02:37,354 launcher.py[line:51] INFO ProxyPool configure PORT: 5010 2021-10-02 03:02:37,354 launcher.py[line:52] INFO ProxyPool configure DB_CONN: redis://:xxxxxxxxxx@redis:6379/0
`
btw, checker目前调用频率似乎是1分30秒一次（貌似？）， 能否告诉我如何修改这些频率的参数呢？ 在scheduler 中吗？或者可否也通过env 的方式来设置？
btw, checker目前调用频率似乎是1分30秒一次（貌似？）， 能否告诉我如何修改这些频率的参数呢？ 在scheduler 中吗？或者可否也通过env 的方式来设置？
这暂时没有加到配置中， 修改的话改这里的minutes参数 https://github.com/jhao104/proxy_pool/blob/9090e93bc9f6abe92c0fe59949a602f2d46248fb/helper/scheduler.py#L54-L55
btw, checker目前调用频率似乎是1分30秒一次（貌似？）， 能否告诉我如何修改这些频率的参数呢？ 在scheduler 中吗？或者可否也通过env 的方式来设置？
这暂时没有加到配置中， 修改的话改这里的minutes参数
https://github.com/jhao104/proxy_pool/blob/9090e93bc9f6abe92c0fe59949a602f2d46248fb/helper/scheduler.py#L54-L55
另外logging的问题似乎也可以通过简单的方式解决（读取ENV 然后调用basicConfig）。但我不太清楚爬虫调用的顺序，以至于我不知道在哪里调用basicConfig合适，我需要花亿点时间理解。 如果你没有时间提交新的版本的话 我可以尝试抽空为这个项目提交亿点点代码仅升级我提到的那几个问题？
1.可否添加通过env设置想要输出的logging 等级？ 目前跑了一天生产了20~30M的日志，然而跑起来大多checker 和 fetcher logging 都没什么实际意义？ 如果只想看到warnning 以上的日志的话是否可以增加以下类似的代码？
logging.basicConfig(level=logging.WARNING)2.launcher.log 暴露了redis的密码，这样似乎有些不太安全？
2021-10-02 03:02:37,353 launcher.py[line:45] INFO ProxyPool Version: 2.3.0 2021-10-02 03:02:37,354 launcher.py[line:50] INFO ProxyPool configure HOST: 0.0.0.0 2021-10-02 03:02:37,354 launcher.py[line:51] INFO ProxyPool configure PORT: 5010 2021-10-02 03:02:37,354 launcher.py[line:52] INFO ProxyPool configure DB_CONN: redis://:xxxxxxxxxx@redis:6379/0`
docker 版本日志太大了……老哥你有解决办法吗？
1.可否添加通过env设置想要输出的logging 等级？ 目前跑了一天生产了20~30M的日志，然而跑起来大多checker 和 fetcher logging 都没什么实际意义？ 如果只想看到warnning 以上的日志的话是否可以增加以下类似的代码？
logging.basicConfig(level=logging.WARNING)2.launcher.log 暴露了redis的密码，这样似乎有些不太安全？2021-10-02 03:02:37,353 launcher.py[line:45] INFO ProxyPool Version: 2.3.0 2021-10-02 03:02:37,354 launcher.py[line:50] INFO ProxyPool configure HOST: 0.0.0.0 2021-10-02 03:02:37,354 launcher.py[line:51] INFO ProxyPool configure PORT: 5010 2021-10-02 03:02:37,354 launcher.py[line:52] INFO ProxyPool configure DB_CONN: redis://:xxxxxxxxxx@redis:6379/0`docker 版本日志太大了……老哥你有解决办法吗？
写个shell脚本清一下日志呗
这玩意儿能不能关掉呀，磁盘IO看着就难受，虽然能docker限制日志大小，但是一直写文件，难受😣
py的logging模块应该给一个logging.basicConfig(level=logging.WARNING)就行了，然而作者估计懒得写了，要不老哥你去提个PR？