是否可以将数据拉入R并将输入流直接/同时保存到硬盘？

Question

我将数据从oracle数据库拉入R.数据表太大（> 15gb），因此存在过多填充RAM（32gb）或R会话崩溃的风险，迫使我重新启动过程

是否可以在数据库上运行查询并将传入的数据（正在下载的数据）直接/同时保存到硬盘驱动器（.RDS等）？

Answer 1

一种方法是通过行“逐页”说出100k一次循环并将每个保存为.rds，如table_1_100000.rds。一旦完成，我建议对数据库检查id（单独），以确保获得所有行（“校验和”概念）。