log-pilot
log-pilot copied to clipboard
自己更新filebeat版本打包好像不行,请问有计划升级7.x吗
自己更新filebeat版本打包好像不行,请问有计划升级7.x吗
同问
7.x 与6.1 变化较大,需要适配下filebeat 相关配置
可以尝试新工具 https://github.com/chenjiandongx/conveyor
配置filebeat7.6.1,修改如下配置文件重新打包就可以了,已测试运行
assets/filebeat/config.filebeat
主要是filebeat.yml新版本配置项变化
增加logstash集群配置
assets/filebeat/filebeat.tpl
删除
{{if .Stdout}}
docker-json: true
{{end}}
新版本没有docker-json,有单独的docker/containers type
详细查看官网
7.0 版本太高,配置文件都不兼容,我是升级到了6.8.7
配置filebeat7.6.1,修改如下配置文件重新打包就可以了,已测试运行 assets/filebeat/config.filebeat 主要是filebeat.yml新版本配置项变化
增加logstash集群配置
assets/filebeat/filebeat.tpl 删除 {{if .Stdout}} docker-json: true {{end}} 新版本没有docker-json,有单独的docker/containers type 详细查看官网
大哥,我也是这么升级的,修改这些配置,为毛一直拿不到日志到kafka
配置filebeat7.6.1,修改如下配置文件重新打包就可以了,已测试运行 assets/filebeat/config.filebeat 主要是filebeat.yml新版本配置项变化
增加logstash集群配置
assets/filebeat/filebeat.tpl 删除 {{if .Stdout}} docker-json: true {{end}} 新版本没有docker-json,有单独的docker/containers type 详细查看官网
https://github.com/arterhuo/log-pilot 哪里有问题吗?拿不到日志,没有报错
配置filebeat7.6.1,修改如下配置文件重新打包就可以了,已测试运行 assets/filebeat/config.filebeat 主要是filebeat.yml新版本配置项变化
增加logstash集群配置
assets/filebeat/filebeat.tpl 删除 {{if .Stdout}} docker-json: true {{end}} 新版本没有docker-json,有单独的docker/containers type 详细查看官网
https://github.com/arterhuo/log-pilot 哪里有问题吗?拿不到日志,没有报错
把你在log-pilot中生成的filebeat.yml和prospectors.d/yml文件拷贝出来,用filebeat-7.6.1-linux-x86_64.tar.gz覆盖配置文件调试看看,就知道是哪里出错了
配置filebeat7.6.1,修改如下配置文件重新打包就可以了,已测试运行 assets/filebeat/config.filebeat 主要是filebeat.yml新版本配置项变化
增加logstash集群配置
assets/filebeat/filebeat.tpl 删除 {{if .Stdout}} docker-json: true {{end}} 新版本没有docker-json,有单独的docker/containers type 详细查看官网
https://github.com/arterhuo/log-pilot 哪里有问题吗?拿不到日志,没有报错
把你在log-pilot中生成的filebeat.yml和prospectors.d/yml文件拷贝出来,用filebeat-7.6.1-linux-x86_64.tar.gz覆盖配置文件调试看看,就知道是哪里出错了
最终查出来是我们kafka版本是0.11.0.3的版本,filebeat 7.6.1 默认是kafka version:1.0.0. 一直连接不上kafka,修改kafka version: 0.11 成功收集日志了。
可以尝试新工具 https://github.com/chenjiandongx/conveyor
ES支持密码认证么
配置filebeat7.6.1,修改如下配置文件重新打包就可以了,已测试运行 assets/filebeat/config.filebeat 主要是filebeat.yml新版本配置项变化
增加logstash集群配置
assets/filebeat/filebeat.tpl 删除 {{if .Stdout}} docker-json: true {{end}} 新版本没有docker-json,有单独的docker/containers type 详细查看官网
大佬升级后,es里统一写一个索引还是(像目前这样)每个APP都会按天创建自己索引?
我最近升级到了7.8.0,发现在多行日志合并出现的问题(当是标准输出(stdout)时,多行不合并),楼上的升级修改没啥问题,但是assets/filebeat/filebeat.tpl文件需要将 {{if .Stdout}} docker-json: true {{end}} 改成 {{if .Stdout}} json.key_under_root: true json.overwrite_keys: true json.message_key: log {{end}}
7.0 版本太高,配置文件都不兼容,我是升级到了6.8.7
你好,升级到6.8 有问题吗?请问如何升级的???直接用官网的6.8 的tar.gz 包吗??
配置filebeat7.6.1,修改如下配置文件重新打包就可以了,已测试运行 assets/filebeat/config.filebeat 主要是filebeat.yml新版本配置项变化
增加logstash集群配置
assets/filebeat/filebeat.tpl 删除 {{if .Stdout}} docker-json: true {{end}} 新版本没有docker-json,有单独的docker/containers type 详细查看官网
大佬升级后,es里统一写一个索引还是(像目前这样)每个APP都会按天创建自己索引?
自己配置啊,我是在logstash里面配置index => "%{application}-%{+YYYY.MM.dd}" application在deployment中引入env: - name: aliyun_logs_{{ .Chart.Name }} value: stdout - name: aliyun_logs_{{ .Chart.Name }}_tags value: application={{ .Chart.Name }}-{{ .Release.Namespace }},env={{ .Release.Namespace }}
配置filebeat7.6.1,修改如下配置文件重新打包就可以了,已测试运行 assets/filebeat/config.filebeat 主要是filebeat.yml新版本配置项变化
增加logstash集群配置
assets/filebeat/filebeat.tpl 删除 {{if .Stdout}} docker-json: true {{end}} 新版本没有docker-json,有单独的docker/containers type 详细查看官网
@huoarter 大佬,按你这个方法,用的filebeat-7.10.0,测试收集到es,用文件和stdout的形式都可以进行收集,但换到kafka上的时候,只能收集文件采集的形式,stdout的收集不了,我把log-pilot镜像换成官方最新的是可以收集的。不知道你有没有遇到这个问题,有的话麻烦提供下解决方法,谢谢。