有谁知道BigQuery中有多少个表联接是最优的？

Question

BigQuery配额和限制建议：每个查询引用的表的最大数量= 1000，最大列= 10,000。

但是，查询可以处理的最大联接数是多少？同样，尽管添加了更多的计算能力，但是BQ的性能开始下降之后的最佳联接数是多少？

是否有基准？

Answer 1

这实际上取决于您的用例，数据大小，联接的类型等。BQ能够处理合理数量的联接，但是您可以提高限制。

如果您正在执行即席查询，将很难（但并非不可能）通过联接重载查询。

如果您正在执行ETL / ELT，通常可以物化中间表以减少每个查询的联接数。

如果您将BQ用作BI工具的后端，则可能需要预联接和实例化表，以避免在运行时联接。

无论哪种方式，我都认为在可能的情况下在加入之前使用CTE减少数据是一种很好的做法。