'unicodeescape' 编解码器无法解码位置 0-1 中的字节:格式错误的 \N 字符转义

时间:2021-05-19 14:50:10

标签: dataframe apache-spark pyspark

我正在尝试将数据从 Databricks 推送到 SQL。但是,我收到以下错误:

enter image description here

我注意到在我正在处理的文件中,其中一列的值如下:

enter image description here

我尝试使用以下方法过滤掉记录:

df = df.filter(df.COLUMN != "\N")

但是,当上面运行时,我收到上面确定的错误消息。有没有办法过滤掉包含转义字符的值?

我真的很感激任何帮助。谢谢。

1 个答案:

答案 0 :(得分:1)

如错误提示,您需要转义反斜杠 \

df.filter(df.value != "\\N")
相关问题