使用带有array_contains的Spark SQL进行查询不会产生任何结果

Question

以下是我正在使用的架构（它是来自较大架构的较小数据框）

root
 |-- NET: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- BDZ_BUNDLE_BIT: string (nullable = true)
 |    |    |-- BDZ_BUNDLE_NAME: string (nullable = true)
 |    |    |-- name: string (nullable = true)

我想查询并过滤＆＃34;名称＆＃34;匹配的元素。我尝试过以下但没有结果。

val report = df.select ("*").where(array_contains (df("NET.name"), "SCAN_INSIDE")).collect

请建议。

Answer 1

val report = df.select name where（array_contains（NET，＆＃39;你要搜索的名字＆＃39;）。collect（）