AWS上的架构注册表

时间:2018-11-15 09:50:26

标签: avro amazon-kinesis confluent-schema-registry

我正在评估运动学以替代kafka。我缺少的一件事是Schema注册表等效解决方案。我特别需要:

  • 模式升级-验证与先前版本的兼容性
  • 版本avro模式与模式注册中心类似

处理上述2个选项有哪些?我发现的唯一一件事是胶目录,但似乎没有
最后,我还想使用firehose(输出到redshift),但是据我所知这是不可能的,并且需要编写自定义lambda。

3 个答案:

答案 0 :(得分:0)

https://docs.aws.amazon.com/kinesisanalytics/latest/dev/sch-dis-ref.html是它带给我们的动力-仍然不如按融合丛集提供的kafka生态系统那样完整/优雅。我怀疑兼容模式在这里如何工作。

可能会与您的问题有所不同-但是您会考虑使用MSK还是在AWS上部署kafka(尽管管理它会产生开销)?

答案 1 :(得分:0)

AWS刚刚启动了适用于AWS Kinesis https://docs.aws.amazon.com/glue/latest/dg/schema-registry.html

的架构注册表功能

答案 2 :(得分:0)

AWS Glue 提供模式注册表选项,可用于 AVRO 数据格式。 目前glue仅支持java作为生产者和消费者。 很容易使用