Avro架构更新是否适用于BigQuery

时间:2016-12-08 21:37:03

标签: google-bigquery

我正在对BigQuery进行评估,并尝试使用该表中的新列更新Avro表,但它似乎不起作用。这就是我在做的事情:

1)将数据上传到GCS

$ gsutil cp book.avro gs://analytics-145623.appspot.com/bob/v1/book.avro

$ gsutil cp book2.avro gs://analytics-145623.appspot.com/bob/v2/book2.avro

book.avro有3条记录,每条记录有3个字段

book2.avro有3条记录,每条记录有4个字段

2)创建表

$ bq mk analytics.bob_test01

3)创建表格的第一个版本,工作正常

$ bq load --source_format=AVRO analytics.bob_test01 \ 
  gs://analytics-145623.appspot.com/bob/v1/book.avro

4)创建表的第二个版本

$ bq load --source_format=AVRO --schema_update_option=ALLOW_FIELD_ADDITION analytics.bob_test01 gs://analytics-145623.appspot.com/bob/v2/book2.avro

新数据会附加到表中,但新列不在表中。如果返回UI并手动添加列并重新运行加载,则数据将按预期显示,但这不是我想要的。我想要通常的架构演变。

我错过了什么吗?

0 个答案:

没有答案