传输大量文件时AzCopy超时

时间:2019-07-11 21:27:59

标签: azure timeout azure-data-lake azcopy

我有两个Data Lake gen2存储帐户,我需要将约250GB的数据从一个递归传输到另一个(整个文件系统结构)。文件系统结构包含很多文件(上万个)。

我尝试过:

  1. 使用AzCopy CLI下载数据。

  2. 使用Azure存储资源管理器下载数据。

  3. 使用Azure Data Factory传输数据。

所有导致的相同问题-超时。

这是错误:

Transfer of 'dev/PROJECT/' to 'Z:\XXX' failed: 120000 items transferred, 
error: failed to perform copy command due to error: cannot start job due 
to error: error listing the files inside the given source url XXX.
...
RESPONSE ERROR (ServiceCode=OperationTimedOut) =====\\nDescription=500
Operation could not be completed within the specified time., Details: (none)\\n

所以我认为这是因为文件系统中有太多文件。

有解决方法或其他方法吗?

-更新-

我已经开始使用Storage Explorer逐个手动下载文件夹,其中大多数已成功下载。

但是我遇到了一个文件夹,其中有几个MB,因此无法下载。下载停留在“开始将'dev / XXX / NB054 /'传输到'C:\ XXX'(使用名称和密钥)”上。但是,当我在文件夹中下载文件时,就可以了。

有什么想法吗?

0 个答案:

没有答案
相关问题