我有数百个二进制文件，大小从5mb到500mb不等，还有一个python脚本，它将一个文件作为输入，并在10分钟内输出小的.txt文件（250mb文件）。
为了尽快处理它，我有10个（本地）服务器，每个服务器有20个核心。如果我想稍后添加更多硬件，那么拆分这项工作的最佳方法是什么？我确定此前已经完成了数百万次并且应该有一些开源解决方案吗？
我在考虑kubernetes，因为它有docker容器，可以轻松地隔离script.py的依赖关系，并将所有二进制文件放在安装在/ mnt / shrd_drive上的所有服务器上的单个网络共享驱动器上，他们可以从中读取。