在一个或多个文件中下载wiki

Question

我想从维基百科加载数据以完成Hadoop中的某些任务。我找到了一些链接：http://www.kiwix.org/wiki/Main_Page#Wikipedia_files，https://archive.org/details/enwiki-20160113。但我不确定它将采用何种格式以及如何使用它。所以，问题是有人知道是否可以在一个或多个txt文件中下载维基百科？

Answer 1

那么，你可以在这里下载最新的完整版（20161101正在进行另一个转储）维基百科内容转储：https://dumps.wikimedia.org/enwiki/20161020/ 注意我不认为这包括媒体文件本身，而且这个例子只是英文网站 - 其他网站也在那里。