用于存储和检索Web应用程序的大文件的体系结构

时间:2018-01-19 03:07:27

标签: amazon-s3 amazon-ec2 large-data large-files

我有几个用户处理大文件(1GB)。这些文件只是数百万点的大型原始载体。它代表了很长一段时间内信号的获取。

我有一个桌面软件可视化这些数据。基本上,我加载文件,应用过滤器(带通)和所有数据并绘制矢量。

我想要做的是通过Web应用程序中的部件可视化数据。大块的数据可能不是那么大,所以我不必在浏览器中加载整个文件(我甚至不知道是否可能)。文件存储在S3上。

我的问题是,如何有效地存储文件,以便能够通过部分快速检索它们。例如,一个文件中有1亿个样本,但我只想绘制样本[125000,150000]。如何在不必将整个文件从S3升级到EC2的情况下进行管理?我想过存储10000个数据样本的块,这样我最多可以获得3个文件,但这是一个好方法吗?

1 个答案:

答案 0 :(得分:3)

Amazon S3支持读取文件的一部分。如果您可以计算所需数据点及其长度的偏移量,则只能读取该部分。

此链接显示了如何使用HTTP GET执行此操作:

Get Object

此页面显示了如何使用适用于各种语言的AWS开发工具包执行此操作:

Getting Objects