加载操作中的BigQuery错误：令牌无效 - 无效令牌：无状态令牌已过期

Question

我看到以下错误：      加载操作中的BigQuery错误：令牌无效 - 令牌无效：
     无状态令牌已过期

当我尝试上传大型纯文本（或gzip'ed）（约90万条记录）文件时

以下是我用来尝试上传数据的命令：

〜/ bigquery-2.0.6] $ python bq.py load --skip_leading_rows 7 -F“\ t”conn_logs.conn /scratch/conn.log /scratch/conn.schema

如果我尝试较小的文件，数据加载就好了。

知道造成这种情况的原因是什么以及如何续订令牌以使其不会过期？

谢谢，

Answer 1

这实际上是oauth2client处理令牌续订的方式中的错误 - 即它不会在上载结束时刷新令牌。它正在内部跟踪，但我认为还没有修复的ETA。

最简单的解决方法是将文件上传到Google Storage，然后使用Google存储路径调用加载。这非常轻松，甚至还有a nice tutorial。