jlogstash icon indicating copy to clipboard operation
jlogstash copied to clipboard
verified publisher icon DTStack

高可用实现了吗？，数据分布式增量读取

Open CaiGaoQing opened this issue 6 years ago • 2 comments

如果启动2个进程，配置的相同的配置文件，读取的相同文件一共1000 条数据，数据是怎么平均分配到这2个线程，每个500条。看了下源码，基本是多线程和队列都是进程内的，如何保证集群了读取的 数据不重复那？咨询下。谢谢.QQ:907519797, vx：17865621181

CaiGaoQing avatar Mar 11 '19 10:03 CaiGaoQing

一个文件只会一个线程去读取，jlogstash现在是单机的

yangsishu avatar Mar 19 '19 05:03 yangsishu

文件的读取都是增量读取，会记住当时读取的offset的

yangsishu avatar Mar 19 '19 05:03 yangsishu