猪：如何重新采样时间序列数据？

Question

我有一个非常大的数据集，我正在处理Pig。

数据包含timestamp（直到第二个频率），我想以分钟频率聚合我的数据（计算每分钟观察的数量，平均那一分钟内的其他变量）。

是否可以使用Pig执行此操作？ 谢谢！

Answer 1

您可以修改时间戳字段（生成YYYYmmddHHMMss到YYYYmmddHHMM等新字段），然后按时间戳分组并汇总数据。