Question

我有一些unix时间，我转换为sparklyr中的时间戳，由于某些原因，我还需要将它们转换为字符串。

不幸的是，似乎在转换为字符串hive期间转换为EST（我的语言环境）。

df_new <- spark_read_parquet(sc, "/mypath/parquet_*",
                             overwrite = TRUE,
                             name = "df_new",
                             memory = FALSE,
                             options = list(mergeSchema = "true"))
> df_new %>%  
           mutate(unix_t = from_utc_timestamp(timestamp(t) ,'UTC'),
           date_str = date_format(unix_t, 'yyyy-MM-dd HH:mm:ss z'),
           date_alt = to_date(from_utc_timestamp(timestamp(t) ,'UTC'))) %>% 
    select(t, unix_t, date_str, date_alt) %>% head(5)
# Source:   lazy query [?? x 4]
# Database: spark_connection
            t unix_t              date_str                date_alt  
        <dbl> <dttm>              <chr>                   <date>    
1 1419547405. 2014-12-25 22:43:25 2014-12-25 17:43:25 EST 2014-12-25
2 1418469714. 2014-12-13 11:21:54 2014-12-13 06:21:54 EST 2014-12-13
3 1419126103. 2014-12-21 01:41:43 2014-12-20 20:41:43 EST 2014-12-20
4 1419389856. 2014-12-24 02:57:36 2014-12-23 21:57:36 EST 2014-12-23
5 1418271811. 2014-12-11 04:23:31 2014-12-10 23:23:31 EST 2014-12-10

正如您所看到的，date_str和date_alt都使用EST时区。我在这里需要UTC。我怎么能这样做？

谢谢！

Answer 1

从Hive函数引用中，date_format使用Java的SimpleDateFormat，我相信它总是默认为JVM时区，这就解释了为什么这会为您提供转换为您的时区的字符串。

一种选择是检测时区并手动添加小时数以获得UTC。

另一种选择是将lubridate与spark_apply()：

一起使用

sdf_len(sc, 1) %>%
  mutate(unix_t = from_utc_timestamp(timestamp(1522371003) , 'UDT')) %>%
  spark_apply(
    function(e) {
      dplyr::mutate(
        e,
        time_str = as.character(
          lubridate::with_tz(
            as.POSIXct(unix_t, origin="1970-01-01"),
            "GMT"
          )
        )
      )
    },
    columns = c("id", "unix_t", "time_str"))

Answer 2

Sparklyr可能会将时区奇怪地转换为hive函数。我尝试将数据帧注册为表并使用纯HQL进行操作：

createOrReplaceTempView(df_new, "df_new")
result <- sql("select from_utc_timestamp(timestamp(t) ,'UTC'),
   cast(from_utc_timestamp(timestamp(t) ,'UTC') as STRING),
   cast(from_utc_timestamp(timestamp(t) ,'UTC') as DATE)
   from df_new")
head(result)

修改

如果您不熟悉SQL语言，可以将df_new中的任何变量添加为逗号分隔列表，如此（并使用as重命名您的选择）

select var1, var2, t, from_utc_timestamp(timestamp(t) ,'UTC') as unix_t, cast(from_utc_timestamp(timestamp(t) ,'UTC') as STRING) as date_str, cast(from_utc_timestamp(timestamp(t) ,'UTC') as DATE) as date_alt from df_new

您还可以使用*来表示数据框中的所有变量：

select *, from_utc_timestamp(timestamp(t) ,'UTC') as unix_t, cast(from_utc_timestamp(timestamp(t) ,'UTC') as STRING) as date_str, cast(from_utc_timestamp(timestamp(t) ,'UTC') as DATE) as date_alt from df_new

Answer 3

尝试使用as.POSIXct（）？

format(as.POSIXct(unix_t, origin = unix_t, tz = "UTC", usetz=TRUE),"%Y-%m-%d %H:mm:ss")

这将首先将unix时间戳转换为UTC，然后格式化为所需的字符串。

如何将时间戳转换为字符串（不更改时区）？

3 个答案: