fee icon indicating copy to clipboard operation
fee copied to clipboard

Published 20 hours ago • verified publisher icon LianjiaTech

关于parseNginxLog的一点小问题

Open heyfgirl opened this issue 4 years ago • 1 comments

我看到task的manage启动任务在启动parseNginx的时候是按定时任务，每分钟执行一次parseNginxLog。如果每个nginx的日志里面的内容很多。而这一分钟没有处理完这些数据，那么这些定时任务开启的node进程是不是越来越多呢。这样内存是不是会占满，fee是如何处理这个问题的呢，还是我的理解有问题，能不能说下呢。 在parseNginxLog文件的每行数据接收回调函数onDataIn中，我看到有每当处理好的数据文件写入流个数大于100就会删除老的流，那样老的数据是不是就不再处理了。还是有哪里处理了呢。

heyfgirl avatar Jul 01 '20 02:07 heyfgirl

我看到task的manage启动任务在启动parseNginx的时候是按定时任务，每分钟执行一次parseNginxLog。如果每个nginx的日志里面的内容很多。而这一分钟没有处理完这些数据，那么这些定时任务开启的node进程是不是越来越多呢。这样内存是不是会占满，fee是如何处理这个问题的呢，还是我的理解有问题，能不能说下呢。 在parseNginxLog文件的每行数据接收回调函数onDataIn中，我看到有每当处理好的数据文件写入流个数大于100就会删除老的流，那样老的数据是不是就不再处理了。还是有哪里处理了呢。

@heyfgirl 理论上是会存在这个问题。所以在2.0版本中直接去掉了读写磁盘这块的逻辑，采用多进程内存读写的方式来处理数据，而且是常驻进程，不再使用定时启动的方式

alphawq avatar Jul 23 '20 12:07 alphawq