我正在评估运动学以替代kafka。我缺少的一件事是Schema注册表等效解决方案。我特别需要:
处理上述2个选项有哪些?我发现的唯一一件事是胶目录,但似乎没有
最后,我还想使用firehose(输出到redshift),但是据我所知这是不可能的,并且需要编写自定义lambda。
答案 0 :(得分:0)
https://docs.aws.amazon.com/kinesisanalytics/latest/dev/sch-dis-ref.html是它带给我们的动力-仍然不如按融合丛集提供的kafka生态系统那样完整/优雅。我怀疑兼容模式在这里如何工作。
可能会与您的问题有所不同-但是您会考虑使用MSK还是在AWS上部署kafka(尽管管理它会产生开销)?
答案 1 :(得分:0)
AWS刚刚启动了适用于AWS Kinesis https://docs.aws.amazon.com/glue/latest/dg/schema-registry.html
的架构注册表功能答案 2 :(得分:0)
AWS Glue 提供模式注册表选项,可用于 AVRO 数据格式。 目前glue仅支持java作为生产者和消费者。 很容易使用