从Kafka到AWS Redshift读取数据的最佳实践

Question

将数据从Kafka集群移至Redshift表的最佳实践是什么？ 我们有连续的数据到达Kafka，我想将其写入Redshift中的表中（不必实时）。

• 我应该使用Lambda函数吗？
• 我是否应该编写将在专用EC2实例上运行的Redshift连接器（消费者）？ （缺点是我需要处理冗余）
• 为此提供一些AWS管道服务吗？

Answer 1

Kafka Connect通常用于从Kafka到（或从）数据存储流式传输数据。它可以做一些有用的事情，例如自动管理横向扩展，故障转移，模式，序列化等等。

This blog显示了如何使用开源JDBC Kafka Connect连接器流式传输到Redshift。还有一个community Redshift connector，但我没有尝试过。

This blog显示了另一种方法，不使用Kafka Connect。

免责声明：我为创建JDBC连接器的Confluent工作。