在数据过滤时忽略Pyspark中的大小写

Question

我有一个火花数据帧（input_dataframe），此数据框中的数据如下所示：

id              value
 1                Ab
 2                Ai
 3                aB

我想选择值 ab 的数据（情况无关紧要） 下面是代码，我正在使用相同的代码：

input_dataframe.where(col('value').isin("ab"))

但是id不能获取我想要的输出。有人可以帮助我。 任何帮助将不胜感激。

Answer 1

看看pyspark.sql.functions.lower(col) 在你的情况下，这应该是这样的：

from pyspark.sql import functions as sf
input_dataframe.where(sf.lower(sf.col('value')).isin("ab"))