使用数据库分区信息对spring批处理作业进行分区

时间:2019-02-20 02:57:16

标签: spring-boot jdbc spring-batch partitioning

我有60个数据库表,每个表包含10亿条记录。我计划每张表运行一个批处理作业,并且希望使用本地分区来加快处理速度。这些表基于数据库中的日期列进行分区。

我想仅基于从 information_schema.partitions 表中获得的信息来配置批处理作业分区。我找不到使用数据库分区信息的任何东西。我浏览了很多春季批处理教程,但只看到根据某些列设置了一些最小值和最大值。有人可以请教吗?

1 个答案:

答案 0 :(得分:0)

Spring Batch没有提供Partitioner实现,可以直接为您完成。话虽如此,您可以实现自己的Partitioner来实现此功能。您可以在以下Javadoc中进一步了解Partitioner接口:https://docs.spring.io/spring-batch/trunk/apidocs/org/springframework/batch/core/partition/support/Partitioner.html

相关问题