Question

我使用VectorAssembler在spark / scala中的DataFrame中创建了一个特征向量。到目前为止一切正常。现在我想从标签和稀疏矢量创建LabeledPoints。

val labeledPoints = featureDf.map{r=>
  val label = r(0).toString.toDouble + r(1).toString.toDouble + r(2).toString.toDouble
  val features = r(r.size-1)
  LabeledPoint(label, Vectors.sparse(features))

}

但这不起作用。我收到编译错误。错误是：

overloaded method value sparse with alternatives:
(size: Int,elements: Iterable[(Integer,java.lang.Double)])org.apache.spark.mllib.linalg.Vector
<and>
(size: Int,elements: Seq[(Int, scala.Double)])org.apache.spark.mllib.linalg.Vector
<and>
(size: Int,indices: Array[Int],values:Array[scala.Double])org.apache.spark.mllib.linalg.Vector
cannot be applied to (Any)

我已经尝试使用val features = r(r.size-1).asInstanceOf[Vector]转换矢量等等，但没有任何效果。有谁知道如何解决这个问题？

提前致谢！

Answer 1

这里需要的是Row.getAs方法：

val features = r.getAs[org.apache.spark.mllib.linalg.SparseVector](r.size - 1)

它还支持按名称提取，因此假设您的列名为features：

r.getAs[org.apache.spark.mllib.linalg.SparseVector]("features")

从spark中的稀疏向量创建LabeledPoint

1 个答案: