批量邮件跟踪和监视

Question

我收到100,000个记录的多个文件（巨大的nos），需要处理3个小时。

每条记录需要由多个（4）任务处理，并且至少将来自1个文件的所有记录合并在一起并进行处理。

现在，我计划使用REDIS或RABBIT-MQ作为我的排队系统。

即： -

file1

batch-1 
    record-1
    record-2

batch-2
    record-3
    record-4

如何跟踪file1的所有记录，即;我需要一个不同批次的相关ID。

1.是否有一个首选架构来实现这一目标？ 2.如何为我的所有消息创建相关ID？

我对排队系统很新，所以输入非常有用。