为什么我的Google colab会话不断崩溃？

Question

我在具有400万行和29列的数据集上使用google colab。当我运行语句sns.heatmap（dataset.isnull（））时，它将运行一段时间，但一段时间后会话崩溃，实例重新启动。它发生了很多事情，直到现在我还没有真正看到输出。可能是什么原因？数据/计算是否过多？我该怎么办？

Answer 1

我不确定是什么原因导致了您的特定崩溃，但是常见原因是内存不足错误。听起来您正在使用足够大的数据集，这很有可能。您可以尝试使用数据集的子集，看看错误是否再次发生。

否则，CoLab会将日志保留在/var/log/colab-jupyter.log中。通过打印其内容，您也许可以对正在发生的事情有更多的了解。要么运行：

!cat /var/log/colab-jupyter.log

或者，仅获取消息（更易于阅读）：

import json

with open("/var/log/colab-jupyter.log", "r") as fo:
  for line in fo:
    print(json.loads(line)['msg'])

Answer 2

另一个原因-如果您使用的是PyTorch并将模型分配给GPU，但没有将内部张量分配给GPU（例如隐藏层）。

Answer 3

对我来说，将特定的参数传递给tfms扩充模块会使数据加载器失败，从而使会话中断。 浪费大量时间检查图像是否不正确并清洁gc等...