用Java创建100万个文件的最快方法

时间:2016-11-10 16:41:58

标签: java spring multithreading oracle oracle11g

我需要创建包含记录的100万个文件,并使用Java代码将其插入Oracle DB中。

System Configuration is :
  RAM:-32GB
  HDD:-100GB
  Processor:-Intel Core 2 Duo

什么是最好的方法。

我计划遵循的方法是:

  1. 由于我有大量的RAM,我将使用线程池执行器创建100个文件,池大小为5(每个线程20个文件),每个线程将再次调用另一个将执行5个线程的线程池(1文件每个线程)在DB中插入数据。一旦数据插入数据库,旧文件将被删除,新的100个文件将被创建,依此类推。当数据库中插入了一定数量的数据(100,1000,10000,10000到100万)时,我还必须在级别查询数据库。

  2. 为每个(100,1000,10000,10000到100万)创建转储文件并逐个恢复并查询以获得结果(我是否需要重新启动应用程序以恢复转储2个或更多文件或者无论我在没有重新启动应用程序服务器的情况下在DB中恢复任何数量的转储文件,它都能正常工作。)

  3. 为每个(100,1000,10000,10000到100万)创建zip文件,在需要时提取它并从位置读取文件并使用5个或更多线程池插入数据库。

  4. 这是一种正确的方法还是有更好的方法来做到这一点?请建议......

    如果我有32GB的RAM,我知道如何能同时运行线程吗?

0 个答案:

没有答案