使用Java编写大型数据DBF文件的解决方案

时间:2014-12-22 02:29:51

标签: java bigdata dbf file-conversion

我在转换或编写包含大量数据的dbf文件时遇到了一些问题。我使用jdbf库,它提供了一个用于写入所有数据的数组解决方案。虽然我运行少量数据,但它确实很快。但是,问题是,我通常使用这种转换来写一个巨大的数据(每个请求几乎有200万行)。

我尝试使用线程,但在写入文件时只能写一次。我有什么解决方案吗?谢谢你的回答。

2 个答案:

答案 0 :(得分:0)

尝试JDBF:https://github.com/iryndin/jdbf。它可以处理高达2G的文件。 2G是DBF文件AFAIK的限制。 如果没有,您可以将DBF文件分解为多个部分,并将每个部分写为单个DBF文件。 JDBF可以很好地处理大文件 - 它用数百万行进行了战争测试。

答案 1 :(得分:0)

我创建了一个工具,可以将DBF文件转换为用\ t分隔的TXT文件。结帐我的github:https://github.com/miguelschwindt/dbf-converter-java。 在那里你有用java编写的源代码,或者如果你愿意,你在libs / dbf-converter.java.jar中有一个.jar来直接在命令行上执行该工具。

相关问题