Results 7 comments of wiliiwin

> > 你好,我们现在在k8s上用到了log-pilot,但是k8s的业务容器收集的日志会偶发的出现日志无法收集的问题,当我们把业务容器重新部署或者重启之后就有可以收集了,并且把没有收集到的日志按当前时间写入到了es,这个问题一直存在。不知道是什么原因会导致这样的问题,麻烦进行解答下,谢谢。 > > 有可能是这个原因, 看我19楼的回复 > https://www.cnblogs.com/William-Guozi/p/elk-k8s.html 你好,我看了下19楼的回复,这个是对日志文件进行了清空的处理,但是我们是从标准输出直接收集的,不存在手动清空日志的情况。

> > > > 你好,我们现在在k8s上用到了log-pilot,但是k8s的业务容器收集的日志会偶发的出现日志无法收集的问题,当我们把业务容器重新部署或者重启之后就有可以收集了,并且把没有收集到的日志按当前时间写入到了es,这个问题一直存在。不知道是什么原因会导致这样的问题,麻烦进行解答下,谢谢。 > > > > > > > > > 有可能是这个原因, 看我19楼的回复 > > > https://www.cnblogs.com/William-Guozi/p/elk-k8s.html > > > > > > 你好,我看了下19楼的回复,这个是对日志文件进行了清空的处理,但是我们是从标准输出直接收集的,不存在手动清空日志的情况。 > > 那你标准输出的文件类型是什么?或者说你...

> > > 从日志上看是正常的, 现在还有丢的情况吗? > > > 从你的描述上,会不会是日志量太大,资源不够用,收集不及时 它是偶发的出现的,过一段时间就会出现这样的问题,并且是其中一个模块出现这样的情况,其他模块的收录都是正常的。 资源上应该不没有问题,见监控的历史图压力不是很大,因此资源不够这个应该不是主要问题,并且log-pilot用的是daemonset的方式,每个node节点都会启动一个log-pilot的pod 我也用的是最新的版本的0.9.7的docker镜像,从dockerhub上拉的

> ”其中一个模块“,对比一下和其他模块有什么区别,特别是日志输出方式上 我上面说的其中一个模块是不固定的,并不是这一个模块老出问题,其他模块没有出现过问题。这里表达的是丢失数据的时间跨度上去看的。 没有区别的,因为我们的部署是helm模板化的,因此所有的yaml文件对于写入log-pilot的配置是一致的,不存在差异化的。 如下是我们对于业务容器配置的log-pilot的配置,不知道这个配置是否有问题。 ![image](https://user-images.githubusercontent.com/20533148/107206585-2ff27b80-6a3a-11eb-9854-1cdcc9b53f8c.png) ` env: - name: pilot_logs_std value: stdout - name: pilot_logs_std_target value: uat-crs-k8s-console-json-log - name: pilot_logs_std_tags value: stage=uat`

> _分成的三段 没有看懂你说的这个是啥意思

> ??? 就是容器启动时的环境变量名的命名格式呀!!!aliyun_logs_$name , 必须三段 https://developer.aliyun.com/article/674327 我是看的阿里云提供的这篇文章配置的 ![image](https://user-images.githubusercontent.com/20533148/108152156-62c00200-7113-11eb-8187-b5c37c50b9f9.png) 他这篇文章里面这里也是四段的