在clearcase环境中启动并行bsub作业

时间:2017-10-26 06:17:31

标签: linux parallel-processing clearcase lsf

如果指定了多于1个主机,则ClearCase不能与LSF分布式多主机并行作业一起使用。

原因:在将多主机模拟分派到LSF系统时,ClearCase不会在所有主机上挂载文件系统

作业终止,因为找不到包含的文件或因为所有主机上都不存在文件系统而无法输出。

ClearCase + LSF实现必须通过构造保证在100%的情况下正确分派作业,目前情况并非如此。

请帮我解决这个问题。

1 个答案:

答案 0 :(得分:1)

LSF / Clearcase集成使用daemon.wrap程序在执行主机上设置视图,然后在视图中启动作业。该包装器不支持跨主机并行作业。

您必须尝试解决作业脚本中的限制问题。您可以通过确保在作业提交环境中未设置$ CLEARCASE_ROOT来禁用守护程序包装器。然后在作业脚本,执行环境以及参与并行作业的每个进程中,作业脚本可以调用cleartool setview <options> <real job command>

如果你以爆破方式开始工作,那么它可能会让事情变得更容易。没有爆炸,LSF将在第一个执行主机上启动单个进程。随着爆发,LSF将为每个插槽启动一个进程,并在所有已分配的执行主机上启动它。随着爆炸,每个过程都可以设置视图并开始真正的工作。

祝你好运!