扩展卡夫卡的保留政策

时间:2017-10-25 16:52:12

标签: apache-kafka

主题有两种现成的保留策略(消息删除策略);删除和压缩。
以前会根据日志文件大小或日期删除邮件,后者会使用邮件密钥定期删除重复邮件。我想知道是否有一种机制来扩展Kafka的Log Compaction功能?例如,按到期日期或其他自定义条件清理邮件?

1 个答案:

答案 0 :(得分:0)

您可以使用经纪人配置,例如:

log.retention.bytes
删除之前的最大日志大小。

log.retention.hours

删除之前保留日志文件的小时数(以小时为单位),第三级为log.retention.ms属性。

log.retention.minutes

在删除日志文件之前保留日志文件的分钟数(以分钟为单位),是log.retention.ms属性的辅助文件。如果未设置,则使用log.retention.hours中的值。

log.retention.ms

在删除日志文件之前保留日志文件的毫秒数(以毫秒为单位),如果未设置,则使用log.retention.minutes中的值。