找不到：值udf错误

Question

我的代码中定义了一个udf，如下所示：

val toOriginalTimestamp = udf((timestamp: String) => timestamp.substring(0, 18))

我试图在我的数据集中获取时间戳字段的子字符串。但是我得到的错误是找不到的：值udf

我做错了什么？

Answer 1

你可能需要这个：

import org.apache.spark.sql.functions.udf

另外，请确保您使用的是spark-sql（不仅仅是spark-core！）1.3或更高的依赖项。