HDFS：如何使写入原子？

Question

我有一些（奇怪的）用例，需要从多个映射器写入HDFS文件（侧面HDFS文件）。但我不确定在不破坏文件完整性的情况下是否允许这样做。请指教。谢谢！

Answer 1

HDFS本身没有提供这种需求。一个文件只支持一个活动的编写器。

您可以在编写器中使用分布式锁定机制，在每个写入实例上附加和关闭（缓慢但实现所需），或者单独编写并在末尾合并（在分布式环境中更快）。