Spark - 从DataFrame中提取单个值

Question

我有一个Spark DataFrame查询，保证返回单个Int值的单列。从结果DataFrame中将此值作为Int提取的最佳方法是什么？

Answer 1

您可以使用head

df.head().getInt(0)

或first

df.first().getInt(0)

查看DataFrame scala文档以获取更多详细信息

Answer 2

这可以解决您的问题。

df.map{
    row => row.getInt(0)
}.first()

Answer 3

在Pyspark中，如果dataframe是带有one column作为响应的单个实体，则只需获取第一个元素，否则将返回整个row，那么您必须获得dimension-wise的响应，即df.head()[0][0]之类的二维列表

df.head()[0]