我使用Apache Spark进行数据处理，上传到S3时偶尔会在日志中看到以下错误：
AmazonClientException：无法完成加密的分段上传而不会告知哪个部分是最后一个
由于spark确实会在任务失败时重试，因此大部分时间都可以。但是，当重试耗尽导致作业失败时，我遇到了问题。除了重试之外，还有更好的方法来处理这些错误吗？
由于
答案 0 :(得分：0)
这很有趣。没见过那条消息，我目前正在协调大部分S3A Hadoop客户端开发。
这是在Amazon EMR上，还是官方的，自包含的ASF版本？
如果是前者，您可以自行使用论坛和任何ASF支持合同。
如果后者：在HADOOP项目（hadoop common）下的issues.apache.org上提交JIRA，列出组件fs / s3，在spark CP上声明hadoop JAR的确切版本，并包括完整的堆栈跟踪