如何顺序处理文件?

时间:2017-05-19 04:48:55

标签: csv apache-nifi

我在本地驱动器中有大约1000个文件。我需要相应地将这些文件移动到SQL Server中。

由于本地驱动器具有file1.csv,file2.csv,..upto file1000.csv等文件。我确信本地驱动器中的文件数量可能会动态更改。

我可以创建用于将文件移动到SQL Server的模板。但是,当文件1完全移入SQL Server时,我必须处理文件2.

在没有使用Wait \ Notify处理器的情况下,这可以在NiFi中使用吗?

任何人都可以指导我解决这个问题吗?

2 个答案:

答案 0 :(得分:1)

使用EnforceOrder处理器处理NiFi-1.2.0.bin中可依次提供的文件。

https://gist.github.com/ijokarumawak/7e6158460cfcb0b5911acefbb455edf0

答案 1 :(得分:-1)

处理器中有Concurrent Tasks属性。 如果你在每个处理器中设置1,它们将按顺序运行。

但也许最好将所有文件插入临时表,然后在数据库级别上运行聚合?