python上的远程数据库访问

Question

我有一个大型数据集（185GB），我打算在其上执行一些机器学习算法。数据位于具有受限计算能力的本地计算机上。我可以访问远程集群，在那里我可以执行计算量很大的算法。它有1TB的内存，速度非常快。但由于某些原因，我在远程服务器上只有2GB（！）的磁盘存储空间。

我可以通过SSH连接到集群，有没有办法在python上我可以通过SSH将数据库加载到RAM？

非常感谢有关如何解决此问题的任何一般提示。

Answer 1

您可能希望使用paramiko，以便可以在Python中使用SSH连接。然后，您可以运行输出数据的命令并从流中读取它。这比复制文件更好，因为它不会涉及将数据复制到磁盘。如果数据在文件中，那么您可以使用paramiko来cat文件并从流中读取数据。