使用数据帧的字典处理非常大的数据

Question

我有一个非常大的pandas数据帧（300 mio记录），其中包含多个key_id列。数据是多变量时间序列+文本标签（字符串50个字符）

由于我需要根据一个特定的key_id进行分析，我决定创建 基于

的词典

 (key_id, sub dictionnary containing compute results).

sub_dictionnary是dataframe（按key_id过滤），时间序列列表，浮点值的集合。

问题是：

1. 数据帧的字典是否与大数据帧有效， 特别是如果计算不是映射减少而是时间序列计算？