找不到spark-sql中的聚合函数

Question

我是Spark的新手，我正在尝试使用一些聚合功能，例如sum或avg。我在spark-shell中的查询完美无缺：

val somestats = pf.groupBy("name").agg(sum("days")).show()

当我尝试从scala项目运行它时，它不起作用，抛出错误消息

not found: value sum

我试图添加

import sqlContext.implicits._
import org.apache.spark.SparkContext._

在命令之前，但它没有帮助。我的火花版是1.4.1我错过了什么吗？

Answer 1

您需要此导入：

import org.apache.spark.sql.functions._

Answer 2

您可以直接在GroupedData上使用sum方法（groupBy返回此类型）

val somestats = pf.groupBy("name").sum("days").show()