如何处理具有非常大数据的表?

时间:2010-12-22 06:32:39

标签: java database

我必须创建一个包含30列和数千行的表。我该如何管理?

对于存储磁盘中不需要的数据的表,是否有像B +树这样的数据结构?

我必须使用Java / JDBC实现它。

有什么想法吗?

2 个答案:

答案 0 :(得分:1)

NTFS,ReiserFS,NSS,XFS和JFS文件系统都使用这种类型的树进行元数据索引。 关系数据库管理系统,如IBM DB2,Informix,Microsoft SQL Server,Oracle 8,Sybase ASE,PostgreSQL,Firebird,MySQL和SQLite支持这种类型的表索引树。

企业应用程序中有数千条记录正常。

在经常检索的字段上应用索引,这会使搜索更好,但会影响插入。

如果可能,请尝试进一步规范化数据库。

在应用程序层,您可以使用缓存API,如OSCache,EHCache,JCache等。

答案 1 :(得分:0)

我将基于内存的解决方案建立在像

这样的结构上
Map<Object, DataType> table

如果我想要快速读取和插入单行,则选择HashMap;如果是基于键的排序输出,则选择TreeMap是典型情况。

Big - 一如既往 - 非常亲戚。您可以为虚拟机分配额外的堆空间,以便该表的内存消耗为“花生”。

顺便说一下,

DataType是一个包含表条目所有值的java类。

如果需要持久性,请在现有数据库引擎上定义表并开发一些SQL查询语句,以便只读取所需的数据。