从RDD创建df时出现pyspark错误:TypeError:无法推断类型的模式:<type'float'=“”>

时间:2016-09-28 22:37:06

标签: apache-spark pyspark rdd spark-dataframe

我使用以下代码将我的rdd转换为数据框:

<.*?>|([\w.]+)

并收到以下错误:

time_df = time_rdd.toDF(['my_time'])

有谁知道我错过了什么?谢谢!

2 个答案:

答案 0 :(得分:1)

您应该将float转换为元组,例如

time_rdd.map(lambda x: (x, )).toDF(['my_time'])

答案 1 :(得分:0)

检查你的time_rdd是否为RDD。

你得到了什么:

>>>type(time_rdd)

>>>dir(time_rdd)