使用TransferManager上载大量小型对象

时间:2020-07-29 06:41:24

标签: java amazon-web-services amazon-s3 aws-sdk

我有大量文件(〜100万个),每个文件的大小约为2KB。我目前在Java中使用s3Client的PutObject方法。将每个文件上传到s3存储桶。但是所有文件的上传都需要很长时间(大约4-5个小时)。我已经读过TransferManager,并且知道它可以用于使用multipart上传大型对象。但这是针对至少5MB的文件,这不能满足我的用例。有什么方法可以使用TransferManager来提高上传速度?如果没有,我还能做什么?

1 个答案:

答案 0 :(得分:0)

如果您正在使用https请求上传文件,则可以尝试使用多个前缀,还可以具有该应用程序的多个副本,以便可以分担负载并减少时间。其他解决方案是,如果您将来不想读取单个文件,则可以将数据压缩成多个部分并上传。您也可以参考aws文档。 aws s3 performance optimization

相关问题