数据位置概念是否也适用于Reducers?

时间:2017-06-13 17:38:36

标签: hadoop mapreduce

我的理解:

数据局部性的概念仅适用于Mapper,因为它处理输入文件。

Reducers还会在处理时使用数据位置概念吗?

数据位置:

数据位置是指通过将计算带入数据来处理其所在的数据,而不是从其位置请求数据。

  1. 在计算数据时,Mappers和Reducers会工作。

  2. Mappers在计算数据时使用数据位置。

  3. Reducers将输入作为Mappers输出。

  4. 假设Mappers输出(中间数据)存储在不同的数据节点中。

    Reducers在计算时是否使用数据位置?

1 个答案:

答案 0 :(得分:0)

不,数据位置概念仅适用于MAPPERS。

根据分区逻辑(在MAP输出的唯一键上)分配减速器