如何在Spark中将字符串转换为时间戳格式(最多毫秒)?

时间:2019-01-29 20:09:18

标签: python pyspark timestamp unix-timestamp

我有一个dataframe列,该列的字符串需要转换为时间戳格式才能插入PostgresDB

redux-logger

我当前的代码可以正确格式化它直到几秒钟,但是在毫秒级,它会截断剩余的值并放一个0

'20180321 12:39:42.595000'

结果值为:

df = df.withColumn("file_datetime",unix_timestamp(df["file_datetime"],'yyyyMMdd HH:mm:ss.SSS').cast("timestamp"))

我希望该值包含所有6毫秒的值

2018-03-21 12:39:42.0

我需要做什么格式?

0 个答案:

没有答案