我有一个如下所示的PySpark DataFrame:
Window -> Rename Tab... -> <tab_name>
我想检索每个不同IP地址的计数,这些计数细分为每天可以看到多少个不同IP地址。
我尝试过:
+------+-----------+
|src_ip| timestamp|
+------+-----------+
|A |2020-06-19 |
|B |2020-06-19 |
|B |2020-06-20 |
|C |2020-06-20 |
|D |2020-06-21 |
+------+-----------+
但是,这不能给我正确的结果,因为它将DF分为多个时间窗口,并为每个时间窗口获得了不同的计数,如下所示:
df.groupBy(window(df['timestamp'], "1 day")) \
.agg(countDistinct('src_ip')) \
.orderBy("window").show()
这是不正确的,因为B已在2020-06-19出现,应归为不同。
我想看到的结果表是:
+-----------+-----------------------+
| window | count(DISTINCT(src_ip)|
+-----------+-----------------------+
|2020-06-19 | 2 |
|2020-06-20 | 2 |
|2020-06-21 | 1 |
+-----------+-----------------------+
PySpark甚至可以做到吗?任何帮助将不胜感激。
答案 0 :(得分:1)
这是您想要的吗?或请添加更多说明。
df.show(10, False)
+------+----------+
|src_ip|timestamp |
+------+----------+
|A |2020-06-19|
|B |2020-06-19|
|B |2020-06-20|
|C |2020-06-20|
|D |2020-06-21|
+------+----------+
from pyspark.sql.functions import min, window, count
df.groupBy('src_ip').agg(min('timestamp').alias('timestamp')) \
.groupBy('timestamp').agg(count('src_ip').alias('count')) \
.orderBy('timestamp').show(10, False)
+----------+-----+
|timestamp |count|
+----------+-----+
|2020-06-19|2 |
|2020-06-20|1 |
|2020-06-21|1 |
+----------+-----+