Spark 1.6在数据帧中加载特定分区，保留分区字段

Question

我们有一个像这样分区的avro：

table
--a=01
--a=02

我们希望从单个分区加载数据，保留分区列a。 我找到了this stackoverflow question并且我应用了建议的代码段：

DataFrame df = hiveContext.read().format(format).
option("basePath", "path/to/table/").
load("path/to/table/a=01")

但是当我尝试阅读字段 a 时，它说：

org.apache.spark.sql.AnalysisException: cannot resolve 'a' given input columns: [b, c, d]

是否可以在Spark Java API 1.6中使用？

Answer 1

简单来说，答案是......不，这是不可能的。