通过API将大文件发送到GAE Blobstore（来自S3）

Question

我正在尝试使用filepicker.io将我存储在S3中的大文件（50MB-2GB）发送到Google App Engine Blobstore（在Python中）。我希望这可以在不通过客户端浏览器上的表单的情况下发生，因为它会破坏项目要求（并且经常挂起非常大的文件）。

我尝试了多种解决方案，包括：

• 尝试load the file into GAE with urlfetch（但GAE has a 32MB limit请求/回复）
• 在python中构建多部分表单并将其发送到blobstore.create_upload_url()（不能通过url传输文件，因为32MB限制而无法在脚本中加载）
• 使用boto to read the file straight into the blobstore（连接超时，日志显示来自boto的encountered HTTPException exception，触发来自GAE的CancelledError: The API call logservice.Flush() was explicitly cancelled.，导致进程崩溃。

我正在努力寻找一个有效的解决方案。关于如何执行此传输的任何提示，或者如何将文件从s3作为表单附件传递而不首先在python中加载它（即仅指定其URL）将非常感激。

Answer 1

BlobstoreUploadHandler不受32MB限制的限制：https://developers.google.com/appengine/docs/python/tools/webapp/blobstorehandlers。但是，我不确定这可能适合您的应用。如果您可以将文件发布到由BlobstoreUploadHandler处理的端点，那么您应该很高兴。