迄今为止的pyspark字符串

时间:2021-01-05 09:01:52

标签: python apache-spark pyspark apache-spark-sql

我正在尝试将字符串转换为日期格式, 日期列按此顺序包含数据,但这是字符串数据类型

20191130
20191231

当使用字符串日期时,日期应显示为

2019-11-31
2019-12-31
  1. 我尝试过这种方法,但脚本返回错误

     df = spark.sql('select * from tablename) 
     df2 = df.withColumn('Date', expr("cast(as_of_date,'yyyyMMdd) as date")) 
    
  2. 我也尝试过这个脚本,它可以工作,但是,有了这个,它显示的日期和时间不是我想要的

    df2 = df.withColumn("Date",expr("cast(unix_timestamp(as_of_date ,'yyyyMMdd') as date)")).show() 
    

1 个答案:

答案 0 :(得分:1)

尝试使用 to_date

df2 = df.withColumn('Date', to_date(col('as_of_date'), 'yyyyMMdd'))
相关问题