Hadoop分布式缓存可以包含文件夹还是仅包含文件?

时间:2013-10-02 16:03:54

标签: java caching hadoop distributed

对于一个项目,我需要向映射器提供几个配置文件,但它们包含在不同的文件夹中。必须保留文件夹结构。

可以在分布式缓存中创建目录树,并在分布式缓存中访问该文件夹树特定位置的文件吗?

谢谢,

1 个答案:

答案 0 :(得分:1)

看看API documentation。很清楚你能做什么或不能做什么。您只需将文件添加到缓存中,不包含任何路径。但是,您可以包含存档,该存档可以具有将在客户端中重新创建的目录结构。

编辑:添加了有关用户案例的以下信息。

您的所有映射器都会读取所有配置文件,还是只读取其中的一部分?如果是后者,那么您应该考虑在HDFS中创建文件夹结构。如果不同的映射器正在读取不同的文件,那么使用分布式缓存就没有优势。