flume-ng-extends-source
flume-ng-extends-source copied to clipboard
Source of Flume NG for tailing files and folders
如果日志的文件命名不包含日期,还能用这个source吗?
我现在用的1.6的flume进行测试.在spoolDir 下vi 一个新的文件. 但是flume没有任何反应..配置如下: agent.sources.incrementSource.type = com.github.ningg.flume.source.SpoolDirectoryTailFileSource agent.sources.incrementSource.spoolDir = /export/weiyue/incrementSpooldir agent.sources.incrementSource.fileSuffix = .COMPLTED agent.sources.incrementSource.ignorePattern = ^(.)_\.tmp$ agent.sources.incrementSource.targetPattern = ._(\d){4}-(\d){2}-(\d){2}.* agent.sources.incrementSource.targetFilename = yyyy-MM-dd agent.sources.incrementSource.trackerDir = .flumespooltail agent.sources.incrementSource.batchSize = 100 agent.sources.incrementSource.inputCharset =...
 如图中所示,如果我想配置监听kxd-app_yyyy_MM-dd.log的文件,targetPattern和targetFilename如何配置?
如果需要依赖前一天的数据做计算,那如何知道前一天的数据已经接受完毕了?
实时收集当日文件,次日回滚后的文件(是不同与当日文件名的,增加了时间戳)不再收集?