flume-ng-extends-source
flume-ng-extends-source copied to clipboard
ningg
Source of Flume NG for tailing files and folders
@ningg ： SpoolDirectoryTailFileSource组件已经开始在我们公司内部收集了多份日志，目前为止运行1年了，之前一切正常，感谢您的贡献。但是，最近，我们新增了一种新的日志文件，发现收集topN行后，程序会halt住。但日志滚动正常。例如：跨小时切割的文件，会在跨小时瞬间滚动到新的文件，而将上小时的文件标记为completed，然后，又收集topN后，程序再会halt住，cpu仍然在占用。但是，每次卡住的地方，日志格式没有异常，纠结中…… 段轶轩 16:19:30
spoolDir需要怎么监听下面的子文件夹 如: Log\Test\Date_2017_09-11\ Log\Test\Date_2017_09-10\ Log\Debug\Date_2017_09-11\ .... 这种情况怎么配置
我的日志是当天的没有日期，如：access.log，第二天把前一天的日志加上日期重命名access.log-2016-10-13，然后新建一个新的access.log。 这样要实时收集access.log可以直接用你的代码吗？不行的话需要在代码中改动哪些地方？
比如我文件大于1G就重新生成一个文件 类似于 x.2016-09-08.txt 当次文件大于1G的时候。我日志生成规则就会滚动增加 y.2016-09-08.txt 这种貌似现在不支持吧。 有没有其他解决方案？
更新：重新启动后成功运行了，谢谢作者开发的这个插件 您好， 我在按照文中的步骤编译、安装该插件后，出现了一些问题，我的flume版本为flume1.6.0 1.启动flume agent出错： ``` [ERROR - org.apache.flume.node.AbstractConfigurationProvider.loadSources(AbstractConfigurationProvider.java:361)] Source tail has been removed due to an error during configuration java.lang.IllegalArgumentException: Must supply a valid regex string at com.google.common.base.Preconditions.checkArgument(Preconditions.java:122) at...
用1.6版本的flume，使用这个jar包，报org.apache.flume.conf.ConfigurationException: No channels set for spoolDirTailFile，配置channels之后（agent.sources.spoolDirTailTile.channels = c1），还是不行，请指导。
如果同一个spoolDir目录下,需要监听多个日志文件. 那对应就是多个flume agent,是不是trackerDir 目录必须是不同的? 还是可以使用同一个trackerDir 目录?
