根据数据框中现有的两列创建一个新列

时间:2019-07-11 13:57:02

标签: apache-spark apache-spark-sql apache-spark-2.0

我有这个数据框。

  id        name        date1       date2
  ----------------------------------------
  1     AAA         2019-07-01  2019-08-01
  2     BBB         2019-07-01  2019-06-01

我想通过基于date1和date2(以最大的日期为准)添加新的列(date3)来创建新的数据框。输出应如下所示。

  id        name        date1       date2       date3
  ----------------------------------------------------
  1     AAA         2019-07-01  2019-08-01  2019-08-01
  2     BBB         2019-07-01  2019-06-01  2019-07-01

下面是我编写的代码,但是由于格式不正确,它引发了异常。

  val newDf= oldDf.withColumn(
                          "date3",
                          when(col("date1") >= col("date2"), col("date1")).otherwise(col("date2"))
                        )
我错过了什么吗?任何帮助表示赞赏。预先感谢。

0 个答案:

没有答案