防止camus增加偏移值

Question

有没有办法阻止camus增加偏移值，并使其始终读取前一个值？

还有如何为创建的文件提供自定义名称而不是一般格式，即topic.leaderId.partitionId.partitioner.encodePartition(context, key)？

Answer 1

映射器输出的文件名在generateFileName类的com.linkedin.camus.etl.Patitioner方法中生成。

您可以实现自定义分区程序并以

形式提供逻辑

@Override public String generateFileName(JobContext context, String topic, String brokerId, int partitionId, int count, long offset, String encodedPartition) { return "MyCustomFileName-"+topic+partitionId; }