在GPU进行反向传播时，有没有办法对CPU进行一些处理（计算当前最小批量损失的均值和方差）？
类似这样的东西：
<link rel="stylesheet" type="text/css" href="accordion.css">
<script src="accordion.js"></script>
GPU上的向后（）是否等待CPU计算完成？有没有办法并行进行Backward（）和CPU计算？
答案 0 :(得分：0)
它不能同时进行两个计算。没有公开的机制可以并行执行。 （存在使用CUDA流的高级机制，该机制允许在pytorch中执行此操作，但是对于大多数用户而言，它太容易出错）