AWS Redshift中的并发查询,COPY和连接

时间:2018-06-19 21:29:10

标签: amazon-web-services amazon-redshift amazon-redshift-spectrum

我试图了解Redshift中并发连接和并发查询之间的区别。根据文档,我们可以与Redshift集群建立500个并发连接,但它说在一个集群中最多可以同时运行15个查询。现在的确切值是多少?

  1. 一个集群中可以同时有几个查询处于运行状态?如果是15,它是否还包括RETURNING状态查询?

  2. 一个集群中可以运行多少个并发的COPY语句?

我们正在评估Redshift作为我们的主要报告数据存储。如果我们不能同时运行大量查询,那么使用该模型可能会很困难。

1 个答案:

答案 0 :(得分:0)

我认为,您在某个地方读错了,每个WLM最多可以进行50个并发查询。请参阅以下thread以获得Amazon支持响应的更多信息。

  

一个集群中可以同时有几个查询处于运行状态?如果为15,它是否还包括RETURNING状态查询?

一次最多可以同时运行50个查询。是的,它确实包括INSERT / UPDATE / DELETE等所有内容。

  

一个集群中可以运行多少个并发COPY语句?

理想情况下,Max最多可以同时增加50个,但是Copy的工作方式有所不同。

Amazon Redshift自动从多个数据文件并行加载。

如果您使用多个并发COPY命令从多个文件中加载一个表,则Amazon Redshift被迫执行序列化加载,这要慢得多,并且如果表中定义了排序列,则最后需要VACUUM。有关使用COPY并行加载数据的更多信息,请参阅从Amazon S3加载数据。

这意味着,您可以同时运行Copy命令,但要确保每个表一次一次复制命令。

因此,实际上,它不依赖于群集上的节点,也依赖于表数。 因此,如果您只有1个表,则想同时执行50次插入,则将仅产生1个副本。