两张图形卡之间的通信

Question

CUDA如何同步两张显卡？他们如何沟通？我有两张特斯拉卡，但我不知道如何在它们之间进行通信。

我需要在RAM中存储5 gb矩阵。我有两张特斯拉牌，每张3GB RAM。我可以通过将内核划分为较小的内容来强制同步吗？

Answer 1

NVIDIA开发人员技术工程​​师Paulius Micikevicius的这个tutorial on multi-GPU programming概述了多个GPU上CUDA的编程，包括GPU之间的通信和同步。

总之，CUDA运行时API（v4.x及更高版本）提供了cudaMemcpy*函数，提供了点对点复制功能，并且可以通过使用Stream和Event API实现同步（例如{{1 }}）。