读取上一个文档的文件--JSON流

时间:2015-08-25 15:57:29

标签: javascript json node.js stream

我正在接收来自服务器的流,这是以指数方式增长的。我需要检查每一分钟的新数据,处理这些数据,并在下一分钟要求更多。

数据是JSON文档。每分钟平均收到约600-700份文件。

由于性能问题,我必须避免阅读已处理的文件。

是否可以只读取最后一分钟收到的数据?

1 个答案:

答案 0 :(得分:0)

您可以使用循环缓冲区并使用侦听器将数据放在那里。 例如,通过存储最后N个文档或块,它主要取决于您的应用程序的代码。

这样一来,旧的数据将被丢弃用于设计,你不必处理流'内部,也没有设计糟糕的解决方案。

这是为缓冲区定义正确大小的问题,但它看起来更容易解决问题。