Spark Dataset <row>向量列到数组类型的转换

Question

我有一列“功能”，它是一个向量。有没有办法将此Vector列转换为Array列？我正在使用Spark 2.3和Java。 实际上，最终目标是将Vector拆分为单独的列。 谢谢。

Answer 1

这可以通过UserDefinedFunction完成。您可以这样定义：

import org.apache.spark.sql.types.*;
import org.apache.spark.sql.expressions.UserDefinedFunction;
import static org.apache.spark.sql.functions.*;

UserDefinedFunction toarray = udf(
  (Vector v) -> v.toArray(),  new ArrayType(DataTypes.DoubleType, false)
);

，然后将其应用于Column：

import org.apache.spark.sql.Column;

Column featutesArray = toarray.apply(col("features"));

其中的结果可以与select或withColumn一起使用。

  

最终目标是将Vector分成多个单独的列。

那只是简单的索引编制问题-Spark Scala: How to convert Dataframe[vector] to DataFrame[f1:Double, ..., fn: Double)]