Gsutil - 从GCS存储桶下载数据的问题

时间:2015-06-19 20:58:43

标签: python linux google-cloud-storage gsutil

我在GCS存储桶中有一些数据。我有一个运行gsutil命令的应用程序从存储桶下载这些数据,然后进行一些进一步的处理。

之前

  • 我安装了gsutil 4.7,并使用oauth刷新令牌,代理主机名,代理端口和项目ID成功配置了我的.boto文件。
  • 我的应用程序工作正常,通过Python子进程模块调用以下命令来下载数据。

    “gsutil -m cp -r gcs_path destination_path”

正如我上面所指出的,这个命令在的python应用程序中运行

现在

  • 突然间,我注意到正在下载的文件的大小比GCS桶中观察到的要小。例如,如果我有一个49MB大小的文件,它被部分/不完整地下载,其大小为0-20KB,依此类推。
  • 当从python应用程序中调用gsutil时会发生这种情况。
  • 此外,应用程序执行gsutil命令时的stdout显示49MB中的49MB已下载。但是当你去目的地目录并检查文件大小时,他们就会离开。

但是,当我在python应用程序外部尝试相同的gsutil命令,即在我的终端中将其作为以下linux命令提供时,数据IS将完全下载。正在下载49MB中的49MB。

$gsutil -m cp -r gcs_path destination_path

我没有耗尽任何磁盘空间。我将gsutil从4.7升级到4.13,但这没有帮助。

这里有什么我可能会遗失的吗?提前谢谢!

0 个答案:

没有答案