hangout
hangout copied to clipboard
childe
用java实现一下Logstash的几个常用input/filter/output, 希望能有效率上面的大提升. 现在我们迁移到golang了 https://github.com/childe/gohangout
我们通过docker swarm 部署hangout服务、一开始限制使用内存、发现出现oom 情况、但是不限制内存的话，发现hangout内存占用不太均衡，有些占有比较大到了7G, 有些3、4G,还有的不够1G、几百M 这样子、请问一下这种内存使用不均衡情况大致是什么原因造成的、或者说有没有解决思路可以提供？
"[2020-07-17T09:21:22,629][INFO ][index.search.slowlog.query] [xxx] [xxx][4] took[753.7ms], took_millis[753], total_hits[1600383], types[], stats[], search_type[QUERY_THEN_FETCH], total_shards[990], source[{"size":500,"query":{"bool":{"must":[{"match_all":{"boost":1.0}},{"bool":{"should":[{"match_phrase":{"check_type":{"query":"4","slop":0,"zero_terms_query":"NONE","boost":1.0}}},{"match_phrase":{"check_type":{"query":"6","slop":0,"zero_terms_query":"NONE","boost":1.0}}}],"adjust_pure_negative":true,"minimum_should_match":"1","boost":1.0}},{"range":{"@timestamp":{"from":null,"to":null,"include_lower":true,"include_upper":true,"boost":1.0}}}],"adjust_pure_negative":true,"boost":1.0}},"version":true,"_source":{"includes":[],"excludes":[]},"stored_fields":"*","docvalue_fields":["@timestamp","create_time"],"script_fields":{},"sort":[{"@timestamp":{"order":"desc","unmapped_type":"boolean"}}],"aggregations":{"2":{"date_histogram":{"field":"@timestamp","time_zone":"Asia/Shanghai","interval":"1d","offset":0,"order":{"_key":"asc"},"keyed":false,"min_doc_count":1}}},"highlight":{"pre_tags":["@kibana-highlighted-field@"],"post_tags":["@/kibana-highlighted-field@"],"fragment_size":2147483647,"fields":{"*":{}}}}], "
hangout的配置文件里写的zk列表是zk的域名，当我域名解析到另一个ip时，hangour无法自动切换依旧连接之前的解析ip，具体报错如下图，只能重启服务才能进行正确的域名解析。  我猜测是hangout在jvm保存了一个初始解析完后的IP，后续不会再更新。 想请问如何才能让hangout进行request timeout后，进行重新域名解析，谢谢了
配置watcher后，启动undertow 访问： http://127.0.0.1:8080/metrics 会提示 java.lang.NoClassDefFoundError: com/fasterxml/jackson/annotation/JsonMerge 看了打包后的 dis/lib目录 中的 jackson-annotations-2.8.2.jar 解压出来 确实 没有 JsonMerge这个类。 应该是 jackson-annotations的版本过低。或者是与undertow要求的版本不符合
WARN org.elasticsearch.action.bulk.BulkRequestHandler - Failed to execute bulk request 1. org.elasticsearch.client.transport.NoNodeAvailableException: None of the configured nodes are available 配置如下，不加user和passpord，没有问题； outputs: - Elasticsearch: cluster: accesslayer_log hosts: - 100.1xxx - 100.xxxx - 100.xxx...
重复消费问题
childe，你好： 首先非常感谢使用了hangout对我的帮助，我这里遇到一个问题，想请教你。 **问题：**我的hangout在消费kafka的并写入到Elasticsearch的时候，发现Elasticsearch上日志数据量比kafka的LOG-END-OFFSET数据要多，而kafka的LOG-END-OFFSET数据与我的日志文件数据量是一样的。 比如我的日志条数是48078条，我的kafka的LOG-END-OFFSE总和也是48078，但是我的Elasticsearch上查看到的日志是51334条，很好奇多余的几千条数据是怎么来的。 **我的理解：**我感觉可能是hangout消费kafka后，kafka并没有认为hangout消费了，所以数据显示没有被消费，则又被hangout消费了一遍，那么请问hangout消费一条数据之后，会做什么处理？ **注：**由于某些原因，我的ES版本不能升级。 **下面是我的应用环境：** ES版本：Elasticsearch 2.3.5 hangout版本：hangout-0.1.8.2-ES2.3.5 kafka版本：kafka_2.11-1.1.0 zookeeper版本：zookeeper-3.4.12 **下面是我的hangout配置** ``` inputs: - NewKafka: codec: json topic: topic-test: 6 consumer_settings: bootstrap.servers: 192.168.1.10:9092,192.168.1.11:9092,192.168.1.12:9092 value.deserializer: org.apache.kafka.common.serialization.StringDeserializer key.deserializer: org.apache.kafka.common.serialization.StringDeserializer group.id:...
Can hangout support auto reload like logstash? ``` --config.reload.interval 600 ``` I think that quick usefull,thanks
目前的master分支里面的kafka版本对应的.0.9 ，然后中午碰到的问就是实际的kafka版本是0.8。 然后程序启动也没问题，没有ERROR级别的错误，但是并不会读取kafka的数据。 查了半天搜索了下issue查到大概是版本的问题 所以最好还是能实现版本不匹配的提示，防止萌新找不到问题。 有时间的话这部分功能我会提交PR。
