什么是Avro数据大小限制?

时间:2018-08-19 14:37:35

标签: size limit avro

我找不到有关Avro规格的数据大小限制信息。

每个原始和复杂字段的最大大小限制是多少? 每个数据块或对象的最大大小限制是多少?

某些字段大小限制可能取决于我们使用的语言,例如Java对String对象有大小限制。

1 个答案:

答案 0 :(得分:1)

Avro spec中,通常将数组,字符串,映射全部限制在"variable length" "zig zag" coded long上。

据我所知,字节读取器一直在读取高阶位

  

定义了一种正整数的可变长度格式,其中每个字节的高位指示是否还有更多字节需要读取。

尽管我不知道最大限制,即使我们仅将逻辑纯粹基于Java long,也可以

Long.MAX_VALUE =  9223372036854775807

并且以字节为单位的字节数超过9.22 PB(或Exabytes),所以我认为您应该没问题。

在Java方面,(以及大多数其他具有整数大小的字符串类型的语言)String的大小限制要小得多

How many characters can a Java String have?

相关问题