Question

我是猪的新手。

在pig中，我想加载多个文件，其名称带有时间戳。

如果我在2012年2月12日至2012/02/19之间加载文件，则以下工作

$START = "12"
$END = "19"
raw_data = load '/table/status/2012/02/{$START,$END}' using Loader()

假设开始日期是2011/12/29，结束日期是2012/01/04，我该如何更改代码行？

感谢您的帮助！

Answer 1

您可以使用以下全局加载您需要的范围：

raw_data = load '/table/status/{2011/12/{29,3{0,1}},2012/01/0[1-4]}' using Loader()

请注意，Pig使用Hadoop的globbing，因此您可以使用的内容取决于底层HDFS的版本。这在0.20下工作。

如果需要更复杂的范围，那么这种目录枚举方式可能有点不灵活。因此，请考虑使用shell脚本按照建议here

收集所需的目录