Apache Drill如何处理大结果集？

Question

假设您将Drill连接到两个单独的数据库，并运行一个查询，您可以从中获取大量数据，然后进行连接。

Drill如何在不丢失内存错误的情况下处理此问题？这假设您请求的数据超出了Drill可以使用的内存量。

Answer 1

请从Drill文档中查看以下内容。

从单个笔记本电脑钻取到1000个节点的集群

Drill可以通过简单的下载获得，您可以在笔记本电脑上运行。当您准备好分析更大的数据集时，请在Hadoop集群上部署Drill（最多1000个商用服务器）。 Drill利用集群中的聚合内存使用乐观流水线模型执行查询，并在工作集不适合内存时自动溢出到磁盘。