是否可以将带有Snappy压缩的Avro文件加载到BigQuery中？

Question

我知道BigQuery支持Avro文件上传，并且我成功地将Avro文件加载到BigQuery中。

使用以下命令，

java -jar avro-tools-1.7.7.jar fromjson --codec snappy --schema-file SourceSchema.avsc Source.json > Output.snappy.avro

我已经使用Snappy压缩生成了一个Avro文件，并尝试加载到BigQuery但是加载作业失败并出现以下错误，

Errors:
file-00000000: The Apache Avro library failed to parse file file-00000000. (error code: invalid)

是否可以将带有Snappy压缩的Avro文件加载到BigQuery中？

Answer 1

BigQuery仅支持文档中的DEFLATE和Snappy算法进行Avro数据块压缩（https://cloud.google.com/bigquery/docs/loading-data-cloud-storage-avro）

  

不支持压缩的Avro文件，但压缩的数据块   是。 BigQuery支持DEFLATE和Snappy编解码器。

Answer 2

现在BigQuery支持Snappy。请参阅：https://cloud.google.com/bigquery/docs/loading-data-cloud-storage-avro

  

不支持压缩的Avro文件，但压缩的数据块   是。 BigQuery支持DEFLATE和Snappy编解码器。