更改1500列数据集以便于前端操作

Question

我有一个data-set that consist of 1500 columns and 6500 rows，我正在尝试找出为基于Web的用户交互式可视化形成数据的最佳方法。

我要做的是让数据更具交互性，并创建一个管理控制台，允许任何人直观地过滤数据。 前端可能基于Crossfilter，D3和DC.js，并为用户提供基本无端过滤的可能性（日期，价值，国家。此外，还会有一些预先定义的视图，如最高和最低10个值。

我已经看到并测试了一些很好的例子like this one，但是在测试之后它并不适合我拥有的大量列，它基于MongoDB的完整JSON转储。这相当于非常长的加载时间和与数据的完全交互性。

所以最后我的问题是，以正确的方式获取数据的最佳方法（从规范化开始）是什么，以便可以从前端进行操作。更改列数是一个优先事项。

Answer 1

快速浏览一下您共享的数据表明数据集是高度非规范化的。为了允许从数据库后端进行查询和可视化，我建议进行规范化。这不是一点点软件工作，但最终你会得到更容易处理的关系数据。

很难猜到你会从哪里开始，但是根据您展示的数据，会有一个国家/地区表，某种事件表，可能还有一些枚举值表。

在任何情况下，您都很难找到一个低于许多列的数据库引擎。行数不是问题。我想最终你会想要一个包含数十个表的数据库。