在单个 GPU 上运行两个不同的独立 PyTorch 程序

Question

我有一个 NVIDIA GPU，它的内存为 16GB。我必须运行两个不同（且独立；意思是，两个不同的问题：一个是视觉类型任务，另一个是 NLP 任务）Python 程序。代码是使用PyTorch编写的，代码都可以使用GPU。

我已经测试过程序 1 大约需要 5GB 的 GPU 内存，其余的都是免费的。如果我运行这两个程序，是否会影响模型性能或会导致任何进程冲突？

Linked question; but it does not necessarily mean PyTorch codes

Answer 1

我不知道这是如何工作的细节，但我可以从经验中看出这两个程序都会运行良好（只要它们组合时不需要超过 16GB 的 RAM），并且执行时间应该大致保持在一样。

然而，计算机视觉通常需要大量 IO（主要是读取图像），如果其他任务也需要读取文件，这部分可能会比​​单独运行两个程序时慢。

Answer 2

它应该可以正常工作。

在我的一个项目中，我在处理多个模型时遇到了 GPU 内存不足的问题。加载它们后，我的模型曾经占用了大部分 GPU 内存。在模型推理期间，用于保留数据的内存非常少。众所周知，如果您的模型加载到 GPU 上，那么您还需要将数据加载到 GPU 上。因此，当您进行批量推理（例如，一次向模型提供 16 个图像）时，完整的批次会加载到 GPU 上。这再次需要更多的 GPU 内存。如果没有获得足够的 GPU 内存，您的程序就会崩溃。

如果您认为 GPU 内存不是您的问题，那么一切都应该正常工作。您也无需担心冲突，因为两个进程都会分配自己的 GPU 内存并独立工作。不会有性能问题。