Question

我正在使用这样的数据框：

DeviceNumber        | CreationDate       | Name
1001                | 1.1.2018           | Testdevice
1001                | 30.06.2019         | Device
1002                | 1.1.2019           | Lamp

我正在使用databricks和pyspark进行ETL过程。如何减少数据框，使每个“ DeviceNumber”只有一行，而这将是“ CreationDate”最高的行？在此示例中，我希望结果看起来像这样：

DeviceNumber        | CreationDate       | Name
1001                | 30.06.2019         | Device
1002                | 1.1.2019           | Lamp

Answer 1

您可以使用DeviceNumber及其最新/最大CreationDate创建一个附加数据框。

import pyspark.sql.functions as psf

max_df = df\
    .groupBy('DeviceNumber')\
    .agg(psf.max('CreationDate').alias('max_CreationDate'))

，然后将max_df与原始数据框一起加入。

joining_condition = [ df.DeviceNumber == max_df.DeviceNumber, df.CreationDate == max_df.max_CreationDate ]

df.join(max_df,joining_condition,'left_semi').show()

left_semi连接在希望将第二个数据帧用作查找并且确实需要第二个数据帧中的任何列时很有用。

Answer 2

您可以使用PySpark窗口功能：

from pyspark.sql.window import Window
from pyspark.sql import functions as f

# make sure that creation is a date data-type
df = df.withColumn('CreationDate', f.to_timestamp('CreationDate', format='dd.MM.yyyy'))

# partition on device and get a row number by (descending) date
win = Window.partitionBy('DeviceNumber').orderBy(f.col('CreationDate').desc())
df = df.withColumn('rownum', f.row_number().over(win))

# finally take the first row in each group
df.filter(df['rownum']==1).select('DeviceNumber', 'CreationDate', 'Name').show()

------------+------------+------+
|DeviceNumber|CreationDate|  Name|
+------------+------------+------+
|        1002|  2019-01-01|  Lamp|
|        1001|  2019-06-30|Device|
+------------+------------+------+

按创建日期获取不同的行

2 个答案: