无法解析符号mapValue

时间:2020-01-02 20:36:39

标签: scala apache-spark apache-spark-sql apache-spark-dataset

我遇到此错误,我在哪里出错。请协助,因为我是新手。我将如何在RDD上使用mapValues

打包com.udemyexamples

import org.apache.spark.sql.SparkSession
object AverageFriendByAge {

  def parseFile(line:String): Unit =
  {
    val field= line.split(",")
    val age=field(2).toInt
    val friend=field(3).toInt
    (age,friend)
  }


  def main(args: Array[String]): Unit = {

    val spark=SparkSession.builder()
      .master("local")
      .appName("AverageFriendAge")
      .getOrCreate()

    val sc=spark.sparkContext
             .textFile("C:\\SparkScala\\SparkScalaStudy\\fakefriend.csv")

     val rdd=sc.map(parseFile)
    val y= rdd.**mapValues**(x => (x, 1))

  }
}

0 个答案:

没有答案
相关问题