在Hadoop中设计软限制和硬限制的目的是什么?

时间:2020-09-17 00:07:30

标签: hadoop

租约管理者在到期时间上维持软限制(1分钟)和硬限制(1小时)(这些限制当前不可配置),并且由租约管理者维护的所有租约都遵循相同的软限制和硬限制限制。在软限制到期之前,持有文件租约的客户端具有对该文件的独占写访问权限。如果软限制到期并且客户端没有续签租约或关闭文件(文件的租约在关闭文件时被释放),则另一个客户端可以强制接管租约。如果硬性限制到期并且客户端尚未续订租约,则HDFS会假定客户端已退出并会代表客户端自动关闭文件,从而收回租约。

为什么需要此功能? 在什么情况下其他客户会尝试接管租赁?

1 个答案:

答案 0 :(得分:0)

如果当前正在写入文件的客户端不正常或已死,则另一个客户端应仅尝试接管租约。任何时候,只有1个客户端可以打开一个文件以在HDFS中写入文件。

我不确定此功能的历史,但是我怀疑1分钟的限制是为了防止客户端由于短暂的暂停(例如GC暂停等)而失去租约。

这里有1个小时的超时时间,因此namenode会关闭客户端已经长时间死机的文件。

最近发生了更改,其中硬超时已设置为可配置的,并且默认情况下减少到20分钟。