Bigquery Stream Benchmark

Question

Bigquery正式成为我们的设备日志数据存储库和实时监控/分析/诊断基础。更进一步，我们需要测量和监控数据流性能。您用于Bigquery直播的任何相关基准？一旦我可以参考什么相关的？

Answer 1

由于流媒体的有效负载大小有限，请参阅Quota policy，更容易讨论时间和其他副作用。

我们为每个流媒体请求测量1200-2500毫秒，这在过去的一个月中是一致的，如图所示。

我们看到了几种副作用，但是：

• 请求随机失败，类型为“后端错误”
• 请求随机失败，类型为“连接错误”
• 请求随机类型'timeout'
随机失败
• 其他一些错误消息是非描述性的，而且它们非常模糊，以至于它们无法帮助您，只需重试即可。
• 我们每天都会看到数百起此类故障，因此它们几乎不变，与云健康状况无关。

对于所有这些，我们在付费Google Enterprise支持中打开了案例，但不幸的是他们没有解决它。它接缝推荐的选项，因为这是一个指数退避与重试，甚至支持告诉这样做。哪个人不会让我开心。

更新

有人在评论中要求新的统计数据，所以我发布了2017年。它仍然是相同的，有一些重型数据重组给我们，你看到了峰值，但基本上它是相同的，如果你使用最大值的2秒流插入。