具有json编码的avro模式-如何从序列化数据中确定模式

时间:2019-05-31 08:58:51

标签: json apache-kafka avro

我想使用apache avro模式进行数据序列化和反序列化。

我想将它与json编码一起使用。

我想将使用不同模式的多个序列化对象放入同一“源”(这是一个kafka主题)。

当我读回它时,我需要能够为当前数据条目解析正确的模式。

但是序列化的数据中没有任何架构信息。并且测试所有可能的模式的兼容性(一种鸭子式的输入方法)非常不干净并且容易出错(对于适合多种模式的数据,不清楚采用哪种模式)

我目前正在考虑以编程方式将名称空间和对象名称放入json数据中。但是这样的解决方案不属于avro标准,它将打开一个新的错误情况,在该情况下,可能会将错误的架构名称空间和/或对象名称放入数据中。

我想知道是否会有更好的方法。或者,如果我的解决方案存在一般缺陷。

背景:我想将其用于kafka消息,但不想使用架构注册表(不要有新的单点故障)。我还仍然希望拥有KSQL支持,该支持仅适用于json格式或通过架构注册表使用avro)

0 个答案:

没有答案