loggie icon indicating copy to clipboard operation
loggie copied to clipboard

这个支持日志投递到opensearch吗

Open twotwo7 opened this issue 1 year ago • 7 comments

Ask your question here:

twotwo7 avatar Mar 21 '23 07:03 twotwo7

当前理论上是兼容的,因为opensearch是基于es的某个版本分支开发的,并且loggie主要只使用bulk接口去发送数据。

不过需要实际试一下。

ethfoo avatar Mar 21 '23 11:03 ethfoo

@ethfoo 你好,我还想问下loggie是否支持自动的发现k8s中运行的pod,并获取其yaml中的日志路径配置从而动态的更新采集路径呢?我看文档里面下发采集路径的方式好像只有向loggie主动下发这一种。

twotwo7 avatar Mar 21 '23 11:03 twotwo7

你指的是通过识别到pod里填写的annotation之类的配置,然后进行日志采集? (也可以查看中文readme里的二维码加loggie微信群讨论)

ethfoo avatar Mar 21 '23 11:03 ethfoo

@ethfoo 是的,不然我就要自己维护一个日志采集路径的配置了。我想把这份配置分布在每一个pod里。好的,我加一下微信群~

twotwo7 avatar Mar 21 '23 11:03 twotwo7

这样有一些局限性,比如:

  • 修改日志配置,会需要pod重建
  • 日志处理等等配置往往比较长,如果碰到复杂的配置,直接放到pod annotation里耦合比较多,也不方便查看

既然可以在pod里增加配置,不如针对这个服务新增一个logconfig文件。

ethfoo avatar Mar 21 '23 11:03 ethfoo

@ethfoo 因为我这边是一个容器云的场景,用户可能会自己直接在k8s集群里通过kubctl直接新增一个服务,这时候就想能够自动探测,然后获取到日志路径。如果没有这个功能的话,可能要再运行一个服务去监听k8s事件然后主动生成loggie的logconfig了, 我看filebeat的docker模块好像有类似的功能(不确定)

twotwo7 avatar Mar 21 '23 12:03 twotwo7

其实我们很早之前是这样用的,但是后面有crd之后,抛弃了这种方式。 真的要做这个功能也能支持,如果你有兴趣可以参与进来。

ethfoo avatar Mar 21 '23 12:03 ethfoo