Spark Scala API:官方示例

时间:2017-02-12 14:31:13

标签: scala intellij-idea spark-dataframe apache-spark-ml

我刚开始使用MLib for Spark并尝试运行提供的示例,更具体地说是https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/ml/DCTExample.scala

但是,使用IntelliJ IDE进行编译失败并显示消息

Error:(41, 35) No TypeTag available for (org.apache.spark.ml.linalg.Vector,)
    val df = spark.createDataFrame(data.map(Tuple1.apply)).toDF("features")

项目设置使用jdk1.8.0_121,spark2.11-2.1.0和scala 2.10.6。

关于为什么示例无法运行的任何想法?我在安装过程中遵循了以下教程:https://www.supergloo.com/fieldnotes/intellij-scala-spark/

1 个答案:

答案 0 :(得分:1)

对于Scala 2.11,你不能拥有Scala 2.11的火花(这就是名称中_2.11的含义),尽管这个特定的错误看起来很奇怪。切换到Scala 2.11.8。