我正打算在Spark Framework中加入2个DataFrame。
val final = mf1.join(mf2,mf1("KEY")===mf2("MOBILE_KEY"), "left").select(
mf1("*"),
mf2("MOBILE_TYPE")
)
)
下一个代码可以工作,但是将null
列中的MOBILE_TYPE
值返回到某些记录。
如果列为空值,如何设置默认值?
答案 0 :(得分:1)
val final = mf1.join(mf2,mf1("KEY")===mf2("MOBILE_KEY"), "left").select(
mf1("*"),
mf2("MOBILE_TYPE")
)
).withColumn("MOBILE_TYPE",when(col("MOBILE_TYPE").isNull,"DEFAULt_VALUE").otherwise(col("MOBILE_TYPE")))
withColumn
和when
API可以正常工作。