春季批量100万条记录--5小时

时间:2012-05-08 02:00:24

标签: spring-batch

如果使用JdbcCursorItemReader读取表中的100万个ID并使用FlatFileItemWriter写入文件并且该过程需要5个小时,这是正常的吗?

Spring建议使用JdbcCursorItemReader来提高性能,我已经使用过它。还有什么可以做的?

我可以完全跳过行映射器,因为我将获取的ID转换为映射器中的Map条目(Map),并在写入时从Map中获取ID似乎无用。

Spring批处理是否适用于此类场景?

先谢谢

1 个答案:

答案 0 :(得分:1)

添加了commitInterval属性并将其值设置为10,000。该过程现在在44分钟内完成。感谢。