blog-example icon indicating copy to clipboard operation
blog-example copied to clipboard

kafka logs 不能产生 mq 消息

Open xiaobaiyang-programer opened this issue 2 years ago • 3 comments

参考博主这篇文章 http://www.mydlq.club/article/84/ 的步骤,但没有成功生成 kafka mq 消息

xiaobaiyang-programer avatar Oct 08 '22 09:10 xiaobaiyang-programer

当时验证是可以的,已经过去两年多时间了,不排除插件是否更新,以及和现在kafka是否兼容等问题。

其实发送jenkins日志可以直接使用 HTTP 工具,通过jenkins变量获取日志文本,然后使用 HTTP 发送,写一个接收的应用接口来接收日志信息,并进行处理,这样能更好的处理,避免了插件过时不维护等问题。

my-dlq avatar Oct 08 '22 09:10 my-dlq

http 接口来获取日志信息是可以,但这种不是高可靠的方案。我们不能容忍 jenkins 生成的消息丢失的情况。目前我在降低 jenkins 版本试下。实在不行,就用 python 来实现生成 kafka 消息

xiaobaiyang-programer avatar Oct 08 '22 09:10 xiaobaiyang-programer

其实丢失消息都是相对的,及时是使用插件连接 Kafka,网络问题也是有重试次数,以及Job任务的超时时间,达到次数或者Job超时时间后一样会丢失,用 HTTP 加入重试,失败则可以尝试记录到备份地址或者本地日志文件中确保不丢失。

my-dlq avatar Oct 08 '22 09:10 my-dlq