过滤掉基于列的表格行

时间:2017-08-09 07:56:31

标签: scala apache-spark apache-spark-sql filtering

我正在尝试根据列rows过滤掉表value

我有dataframe

+---+-----+
|id |value|
+---+-----+
|3  |0    |
|3  |1    |
|3  |0    |
|4  |1    |
|4  |0    |
|4  |0    |
+---+-----+

我想使用dataframe创建一个新的rows删除所有value!=0

+---+-----+
|id |value|
+---+-----+
|3  |0    |
|3  |0    |
|4  |0    |
|4  |0    |
+---+-----+

我认为语法应该是这样的,但无法正确理解:

val newDataFrame = OldDataFrame.filter($"value"==0)

2 个答案:

答案 0 :(得分:0)

正确的方法如下。你只是忘了添加一个=符号

val newDataFrame = OldDataFrame.filter($"value" === 0)

答案 1 :(得分:0)

他们可以通过各种方式进行过滤。

  1. val newDataFrame = OldDataFrame.filter($"value"===0)

  2. val newDataFrame = OldDataFrame.filter(OldDataFrame("value") === 0)

  3. val newDataFrame = OldDataFrame.filter("value === 0")

  4. 您也可以使用where功能代替filter

相关问题