预测合并/连接中的行数

时间:2013-02-19 07:48:33

标签: memory join merge pandas

在我的代码中,我在很多地方使用merge / join。最近我碰到了一个可能只是制作笛卡尔积的连接(可能只有5000个文件需要处理)。由于代码在64位系统/ python上运行,因此此连接将继续运行以填充所有内存,从而阻止此硬件节点上的每个进程/用户。由于没有发生实际错误,因此也很难进行调试。

有没有一种简单的方法来测试连接/合并的有效性,我可以在断言语句中使用它?

谢谢,

吕克

0 个答案:

没有答案
相关问题