Question

我想做什么

我正在使用 Py Arrow 解析来自 csv（最初来自 Postgres 数据库）的数据。我在解析看起来像 2017-08-19 14:22:11.802755+00 的时间戳（带时区）时遇到问题。

然后我收到如下错误：

pyarrow.lib.ArrowInvalid: In CSV column #11: CSV conversion error to timestamp[ns]: invalid value '2017-08-19 12:22:11.802755+00'

我尝试做的事情

我尝试对数据使用指定的解析器，所以这就是我读取 csv 的方式（为简洁起见）：

    arrow_table = arrow_csv.read_csv(
        input_file=input_buffer,
        convert_options=arrow_csv.ConvertOptions(
            timestamp_parsers=[ISO8601, "%Y-%m-%d %H:%M:%S.%6N %z"],# I have also tried omitting this
            column_types=arrow_schema,
            strings_can_be_null=True,  
            true_values=['t'],  
            false_values=['f'], 
        )
    )

不是在 column_types 中我映射我想要解析的列（我将 Postgres 类型映射到 Arrow 类型，除此之外适用于所有其他类型）：

timestamp with time zone': pa.timestamp('ns', tz="+00:00")

但这些似乎都不起作用。如果需要，我很乐意提供更多信息。

Answer 1

不幸的是，Arrow 的 IOS8601 解析器不支持偏移字符串。 strptime 解析器基于 2008 POSIX definition of strptime，通过不支持 %z 的供应商 musl。 strptime 的一些实现确实包括支持（例如 libc 实现）

这似乎是对任一解析器的有效功能请求。我已提交 ARROW-13348 来跟踪此事。

对于变通方法，最好的办法可能是将列解析为字符串并使用其他一些库（pandas？）来转换为时间戳。

如何用时区解析时间戳？

1 个答案: