大型文件通过网络传输

Question

我有一个要求，在大型压缩文件（大小以GB为单位）进入unix服务器上的目录（比如说server1），我必须编写应用程序来轮询该目录并将文件复制到另一个unix服务器（比如说server2）来了。我有办法知道何时一个文件被完全复制到一个目录中（使用相应的元数据文件，只有当单个文件的复制操作完成时才会出现）。由于有数百个文件，我们不想等待所有文件被复制。将文件复制到server2后，我必须先解压缩并进行一些验证，然后才能将这些文件放到最终的存储库中。

问题

1. 在这种情况下使用适当的技术，shell脚本或java或其他方面的速度是什么？
2. 由于我们将按文件执行传输操作，我们如何实现并行（如果我们使用java，则除了多线程之外）？

任何适用于此场景的现有lib / package / tool。