使用Wget / Curl下载最新文件

时间:2016-05-30 19:53:04

标签: bash shell curl wget

如何使用wget或curl下载目录中的最新文件?

这看起来非常简单,但文件名并不总是可预测的,随着新数据的出现,它将被替换为随机文件名。

具体来说,我希望从中下载数据的目录具有以下命名结构,其中最后一个字符串是随机生成的时间戳:

MRMS_RotationTrackML1440min_00.50_20160530-175837.grib2.gz
MRMS_RotationTrackML1440min_00.50_20160530-182639.grib2.gz
MRMS_RotationTrackML1440min_00.50_20160530-185637.grib2.gz

随机生成的时间戳格式为:{hour} {minute} {second}

相关目录位于:http://mrms.ncep.noaa.gov/data/2D/RotationTrackML1440min/

它是否必须是标题中的某些内容,您可以使用curl筛选上次修改的时间戳?

任何帮助都会在这里得到赞赏,在此先感谢。

1 个答案:

答案 0 :(得分:2)

您可以定期运行以下命令:

wget -r -nc --level=1 http://mrms.ncep.noaa.gov/data/2D/RotationTrackML1440min/

它会在最后一次运行后以递归方式下载目录中的新内容。