通过消息队列传输图像（或大文件）

Question

我想要完成的是构建最简单的系统来处理通过消息队列上传的图像。

现在我们正在使用临时文件，我们为每个需要通过Aws S3发送的图像构建一个，并根据我们的需要优化/自定义它。完成所有这些后，我们将其推送到S3。

现在，这当前有效，但是我想通过使用映像的base64编码来删除文件系统开销，使得该进程完全与运行应用程序的系统分离。

由于我们将使用Amazon SQS（我们目前在生产中使用Beanstalkd），因此他们的服务不允许将超过256Kb的有效负载推送到队列中，这是一个问题，因为图像非常繁重。 / p>

还有哪些解决方案可供探索？

Answer 1

您可以查看将文件分成合适的邮件大小，在这种情况下为256Kb，使用适当的序列号标记邮件并将其置于队列中。在另一端，接收消息按顺序重新组合消息并写入文件或将图像数据推送到解决方案的更多阶段。