Question

我执行以下操作：

通过apply(strptime)将熊猫数据框中的字符串datetime转换为python datetime
通过datetime方法将.timestamp()转换为posix时间戳
如果我使用datetime将posix恢复回.fromtimestamp()，则会获得不同的日期时间

这是我的时区（现在是UTC + 3），相差3个小时，所以我认为这是一种时区问题。另外，我了解到在应用时它会隐式转换为pandas.Timestamp，但是我不了解这种情况下的区别。

发生这种奇怪行为的原因是什么，我应该怎么做才能避免这种情况？实际上，在我的项目中，我需要将此熊猫时间戳与正确的poxis时间戳进行比较，现在它会出错。

下面是虚拟的可复制示例：

df = pd.DataFrame(['2018-03-03 14:30:00'], columns=['c'])
df['c'] = df['c'].apply(lambda x: datetime.datetime.strptime(x, '%Y-%m-%d %H:%M:%S'))
dt = df['c'].iloc[0]
dt
>> Timestamp('2018-03-03 14:30:00')
datetime.datetime.fromtimestamp(dt.timestamp())
>> datetime.datetime(2018, 3, 3, 17, 30)

Answer 1

首先，我建议在使用np.timedelta64时使用pandas dtype。在这种情况下，它使互惠变得简单。

pd.to_datetime('2018-03-03 14:30:00').value
#1520087400000000000

pd.to_datetime(pd.to_datetime('2018-03-03 14:30:00').value)
#Timestamp('2018-03-03 14:30:00')

其他方法的问题是POSIX以UTC为原点，但是fromtimestamp返回本地时间。如果您的系统不符合UTC，那么我们会遇到问题。以下方法可以解决此问题：

from datetime import datetime
import pytz

dt
#Timestamp('2018-03-03 14:30:00')

# Seemingly problematic:
datetime.fromtimestamp(dt.timestamp())
#datetime.datetime(2018, 3, 3, 9, 30)

datetime.fromtimestamp(dt.timestamp(), tz=pytz.utc)
#datetime.datetime(2018, 3, 3, 14, 30, tzinfo=<UTC>)

datetime.combine(dt.date(), dt.timetz())
#datetime.datetime(2018, 3, 3, 14, 30)

mytz = pytz.timezone('US/Eastern')  # Use your own local timezone
datetime.fromtimestamp(mytz.localize(dt).timestamp())
#datetime.datetime(2018, 3, 3, 14, 30)

Answer 2

使用to_datetime函数的答案：

df = pd.DataFrame(['2018-03-03 14:30:00'], columns=['c'])
df['c'] = pd.to_datetime(df['c'].values, dayfirst=False).tz_localize('Your/Timezone')

使用日期时，应始终放置一个时区，以便在使用后更容易。

它不能解释大熊猫datetime和单独熊猫之间的区别。

熊猫时间戳到posix转换的奇怪行为

2 个答案: