我有.txt.
格式的大型时间序列文件(带有刻度数据)的集合。我通过R
访问这些进行统计分析。我正在探索将文件移动到数据库(例如MySQL
,Influx
)。 SO答案here列出了使用数据库而不是平面文件的好处。我没有看到那里提出的观点有多大价值,可能是由于无知。
对于那些使用时间序列的人来说,什么样的要求可以证明设置数据库的额外复杂性,而不是简单地将平面文件直接导入R
/ {{1 }} / Python
?
特定情况:每个文件不超过10列(确切的#取决于资产类别),在许多情况下包含数百万行(有时候因为我将它们分成更小的块)。一些文件实时更新/重写。我将Matlab
文件加载到脚本开头的.txt
(一次一个,或多个文件),然后创建一些二进制矢量/信号,并执行统计分析/建模。我在128GB RAM的计算机上执行此操作,但有时我的内存不足。
谢谢。