log-pilot icon indicating copy to clipboard operation
log-pilot copied to clipboard

自己更新filebeat版本打包好像不行,请问有计划升级7.x吗

Open andy199 opened this issue 4 years ago • 15 comments

自己更新filebeat版本打包好像不行,请问有计划升级7.x吗

andy199 avatar Nov 13 '19 10:11 andy199

同问

silenceper avatar Nov 21 '19 07:11 silenceper

7.x 与6.1 变化较大,需要适配下filebeat 相关配置

wangycc avatar Dec 04 '19 04:12 wangycc

可以尝试新工具 https://github.com/chenjiandongx/conveyor

chenjiandongx avatar Dec 06 '19 03:12 chenjiandongx

配置filebeat7.6.1,修改如下配置文件重新打包就可以了,已测试运行 assets/filebeat/config.filebeat 主要是filebeat.yml新版本配置项变化 图片 增加logstash集群配置 图片 assets/filebeat/filebeat.tpl 删除 {{if .Stdout}} docker-json: true {{end}} 新版本没有docker-json,有单独的docker/containers type 详细查看官网

whithen avatar Mar 18 '20 03:03 whithen

7.0 版本太高,配置文件都不兼容,我是升级到了6.8.7

silenceper avatar Mar 18 '20 04:03 silenceper

配置filebeat7.6.1,修改如下配置文件重新打包就可以了,已测试运行 assets/filebeat/config.filebeat 主要是filebeat.yml新版本配置项变化 图片 增加logstash集群配置 图片 assets/filebeat/filebeat.tpl 删除 {{if .Stdout}} docker-json: true {{end}} 新版本没有docker-json,有单独的docker/containers type 详细查看官网

大哥,我也是这么升级的,修改这些配置,为毛一直拿不到日志到kafka

huoarter avatar Mar 23 '20 12:03 huoarter

配置filebeat7.6.1,修改如下配置文件重新打包就可以了,已测试运行 assets/filebeat/config.filebeat 主要是filebeat.yml新版本配置项变化 图片 增加logstash集群配置 图片 assets/filebeat/filebeat.tpl 删除 {{if .Stdout}} docker-json: true {{end}} 新版本没有docker-json,有单独的docker/containers type 详细查看官网

https://github.com/arterhuo/log-pilot 哪里有问题吗?拿不到日志,没有报错

huoarter avatar Mar 23 '20 12:03 huoarter

配置filebeat7.6.1,修改如下配置文件重新打包就可以了,已测试运行 assets/filebeat/config.filebeat 主要是filebeat.yml新版本配置项变化 图片 增加logstash集群配置 图片 assets/filebeat/filebeat.tpl 删除 {{if .Stdout}} docker-json: true {{end}} 新版本没有docker-json,有单独的docker/containers type 详细查看官网

https://github.com/arterhuo/log-pilot 哪里有问题吗?拿不到日志,没有报错

把你在log-pilot中生成的filebeat.yml和prospectors.d/yml文件拷贝出来,用filebeat-7.6.1-linux-x86_64.tar.gz覆盖配置文件调试看看,就知道是哪里出错了

whithen avatar Mar 24 '20 02:03 whithen

配置filebeat7.6.1,修改如下配置文件重新打包就可以了,已测试运行 assets/filebeat/config.filebeat 主要是filebeat.yml新版本配置项变化 图片 增加logstash集群配置 图片 assets/filebeat/filebeat.tpl 删除 {{if .Stdout}} docker-json: true {{end}} 新版本没有docker-json,有单独的docker/containers type 详细查看官网

https://github.com/arterhuo/log-pilot 哪里有问题吗?拿不到日志,没有报错

把你在log-pilot中生成的filebeat.yml和prospectors.d/yml文件拷贝出来,用filebeat-7.6.1-linux-x86_64.tar.gz覆盖配置文件调试看看,就知道是哪里出错了

最终查出来是我们kafka版本是0.11.0.3的版本,filebeat 7.6.1 默认是kafka version:1.0.0. 一直连接不上kafka,修改kafka version: 0.11 成功收集日志了。

huoarter avatar Mar 24 '20 05:03 huoarter

可以尝试新工具 https://github.com/chenjiandongx/conveyor

ES支持密码认证么

totemofwolf avatar Jun 23 '20 02:06 totemofwolf

配置filebeat7.6.1,修改如下配置文件重新打包就可以了,已测试运行 assets/filebeat/config.filebeat 主要是filebeat.yml新版本配置项变化 图片 增加logstash集群配置 图片 assets/filebeat/filebeat.tpl 删除 {{if .Stdout}} docker-json: true {{end}} 新版本没有docker-json,有单独的docker/containers type 详细查看官网

大佬升级后,es里统一写一个索引还是(像目前这样)每个APP都会按天创建自己索引?

totemofwolf avatar Jun 25 '20 12:06 totemofwolf

我最近升级到了7.8.0,发现在多行日志合并出现的问题(当是标准输出(stdout)时,多行不合并),楼上的升级修改没啥问题,但是assets/filebeat/filebeat.tpl文件需要将 {{if .Stdout}} docker-json: true {{end}} 改成 {{if .Stdout}} json.key_under_root: true json.overwrite_keys: true json.message_key: log {{end}}

penetest avatar Jul 08 '20 03:07 penetest

7.0 版本太高,配置文件都不兼容,我是升级到了6.8.7

你好,升级到6.8 有问题吗?请问如何升级的???直接用官网的6.8 的tar.gz 包吗??

liqilong2017 avatar Sep 11 '20 08:09 liqilong2017

配置filebeat7.6.1,修改如下配置文件重新打包就可以了,已测试运行 assets/filebeat/config.filebeat 主要是filebeat.yml新版本配置项变化 图片 增加logstash集群配置 图片 assets/filebeat/filebeat.tpl 删除 {{if .Stdout}} docker-json: true {{end}} 新版本没有docker-json,有单独的docker/containers type 详细查看官网

大佬升级后,es里统一写一个索引还是(像目前这样)每个APP都会按天创建自己索引?

自己配置啊,我是在logstash里面配置index => "%{application}-%{+YYYY.MM.dd}" application在deployment中引入env: - name: aliyun_logs_{{ .Chart.Name }} value: stdout - name: aliyun_logs_{{ .Chart.Name }}_tags value: application={{ .Chart.Name }}-{{ .Release.Namespace }},env={{ .Release.Namespace }}

whithen avatar Nov 02 '20 10:11 whithen

配置filebeat7.6.1,修改如下配置文件重新打包就可以了,已测试运行 assets/filebeat/config.filebeat 主要是filebeat.yml新版本配置项变化 图片 增加logstash集群配置 图片 assets/filebeat/filebeat.tpl 删除 {{if .Stdout}} docker-json: true {{end}} 新版本没有docker-json,有单独的docker/containers type 详细查看官网

@huoarter 大佬,按你这个方法,用的filebeat-7.10.0,测试收集到es,用文件和stdout的形式都可以进行收集,但换到kafka上的时候,只能收集文件采集的形式,stdout的收集不了,我把log-pilot镜像换成官方最新的是可以收集的。不知道你有没有遇到这个问题,有的话麻烦提供下解决方法,谢谢。

bogeit avatar Dec 01 '20 09:12 bogeit