基于Column数据类型的Pyspark数据帧迭代

Question

我有一个包含struct struct，Integers和其他列的pyspark数据帧。我想动态选择struct column（不知道列名，可能存在多个列）。请有人在PySpark中帮我这个

Answer 1

您可以使用列表解析检索struct列，然后将结果插入select()语句中：

cols = [i.name for i in df.schema.fields if "StructType" in str(i.dataType)]
df.select(cols)