对BigQuery中的记录插入数量有何限制？

Question

我们试图一次性将估计值插入到近10万条记录中！但是，该脚本在MySql中插入所有0.1英里的记录，而类似的脚本在Big Query中插入大约27K条记录后过早终止！

此外，我们在Big Query API终止脚本时没有发现任何错误。请帮助我们了解原因，如果BQ对插入或其他内容设置了任何限制！

Answer 1

如果并行进行流式处理插入，效果会更好。对于大型数据，请使用带文件的加载作业确保正确处理错误，因为从一批行中可能会失败，有些行可以通过。处理错误时，您需要处理此问题。

以下限制适用于将数据流式传输到BigQuery。

• 最大行大小：1 MB。超过此值将导致无效错误。 HTTP请求大小限制：10 MB。超过此值将导致无效错误。
• 每秒最大行数：每个表每秒100,000行。每个项目每秒1,000,000行。超过任一金额都会导致quotaExceeded错误。
• 每个请求的最大行数：没有硬限制，但我们建议最多500行。批处理可以将性能和吞吐量提高到一定程度，但代价是每个请求的延迟。每个请求的行数太少，每个请求的开销都会导致摄取效率低下。每个请求的行数太多，吞吐量可能会下降。我们建议每个请求使用大约500行，但使用代表性数据（架构和数据大小）进行实验将帮助您确定理想的批量大小。
• 每秒最大字节数：每个表每秒100 MB。超过此金额将导致quotaExceeded错误。