flume-ng-extends-source icon indicating copy to clipboard operation
flume-ng-extends-source copied to clipboard

Published 20 hours ago • verified publisher icon ningg

对于当天按大小滚动的日志如何处理？

Open georgeGao opened this issue 8 years ago • 3 comments

比如我文件大于1G就重新生成一个文件 类似于 x.2016-09-08.txt 当次文件大于1G的时候。我日志生成规则就会滚动增加 y.2016-09-08.txt 这种貌似现在不支持吧。 有没有其他解决方案？

georgeGao avatar Sep 08 '16 09:09 georgeGao

暂时不支持

ningg avatar Sep 08 '16 11:09 ningg

多谢回复 另外就是我比如今天2016-09-09 我向x.2016-09-09.txt 这个文件追加数据，sink会写到hdfs。每次追加都会在hdfs上生成新的文件。按照flume配置，设置rollInterval 也不起作用？

georgeGao avatar Sep 09 '16 03:09 georgeGao

hdfs 上生成新文件，跟 sink 有关，我们这边的插件是 source；

跟 hdfs 的 sink 相关内容，你可以详细查看一下 flume 的官方文档

ningg avatar Sep 10 '16 03:09 ningg