如何将AVRO文件中的整数值加载到bigquery中的日期列?

时间:2017-05-24 18:10:02

标签: google-bigquery avro

我指的是一个我发现非常有用的类似帖子。它显示了我们如何将avro文件中的整数列加载到包含时间戳字段的BigQuery表。 Compatibility of Avro dates and times with BigQuery?

我有一个类似的问题。有没有办法将avro文件中的整数值加载到bigquery中的日期列?

由于avro不支持日期数据类型,我尝试将日期保留为avro中的字符串字段,并尝试将其加载到BigQuery中的日期字段中。但这不起作用。

如果我知道BigQuery如何在内部存储日期,我可以尝试将我的日期转换为该值,然后将其加载到BQ。

我有什么建议可以做到这一点吗?

1 个答案:

答案 0 :(得分:1)

无法直接在BigQuery中将整数列从Avro加载到DATE列。您可以将Avro文件加载到具有整数列的中间表中,然后运行SQL查询,使用DATE函数(https://cloud.google.com/bigquery/docs/reference/standard-sql/functions-and-operators#date_from_unix_date)将此整数转换为DATE_FROM_UNIX_DATE