在Matlab中处理数千个文本文件的最快/有效方式是什么?

时间:2019-05-10 06:58:01

标签: database matlab performance file

我正在研究一个Matlab应用程序,该应用程序从成千上万个结构化文本文件中加载数值数据,然后执行一些统计分析。我的应用程序需要一些时间才能运行。我正在寻找使它更快的方法。

我怀疑最耗时的是读取硬盘上的多个内存,以读取文件。

您认为将文本文件中的数据存储到SQL数据库中会使我的应用程序运行得更快吗?

PS:有时我需要在同一数据集上多次运行该应用程序。

到目前为止,要解决此问题,我将分别处理文本文件,仅提取我需要的信息,将它们组织在矩阵中,然后将其存储在.mat文件中,用作我的主应用程序的输入。提取部分仍然需要时间,但是我注意到主应用程序上有一些时间增加。

此方法的问题:如果需要从文本文件中获取不同的信息,则.mat文件将过时,因此需要生成新的文件。

0 个答案:

没有答案