log-pilot icon indicating copy to clipboard operation
log-pilot copied to clipboard

容器频繁创建,filebeat registry文件逐步增大,资源占用增加

Open silenceper opened this issue 6 years ago • 5 comments

虽然看到在filebeat中的prospectors配置了如下参数,保证可以清理state信息

  tail_files: false
  close_inactive: 2h
  close_eof: false
  close_removed: true
  clean_removed: true
  close_renamed: false

但是有个问题就是,这个目录下的prospectors.d下的文件是动态生成的,在destory container 时候,该config文件会被删除,而registry状态信息文件一直在增加

silenceper avatar Oct 29 '19 03:10 silenceper

tail_files: false # pod 在每次发布会产生新的日志文件,这样新日志不丢吗?

wangycc avatar Nov 12 '19 08:11 wangycc

tail_files: false # pod 在每次发布会产生新的日志文件,这样新日志不丢吗?

pod的新建就是一个新的filebeat配置文件了

silenceper avatar Nov 12 '19 08:11 silenceper

tail_files: false # pod 在每次发布会产生新的日志文件,这样新日志不丢吗?

pod的新建就是一个新的filebeat配置文件了

scan-frequencyd默认是10s扫描一次 我看错了,就该设置为false,这样每次新文件都是文件首开始读取

wangycc avatar Nov 12 '19 08:11 wangycc

各位的解决方法是什么。

yuline avatar Jan 13 '20 08:01 yuline

发现是在log-pilot进行重启之后,假设这中间又容器销毁(包括log-pilot),registry中会遗留下这些无法日志文件,即便filebeat启动之后,也无法被删除;

想到一个解决办法是在log-pilot每次启动之前,重置一下registry文件内容(只保留当前已有的日志文件)

silenceper avatar Feb 19 '20 10:02 silenceper