将名称设置为RDD的优点

Question

有可用于为RDD分配名称的API。

例如

val y = sc.parallelize(List(1,2,3))
y.setName("New Name")

它有什么优势？此功能在Spark中可用的任何特定原因？

提前致谢。

Answer 1

当您对其进行缓存时，您可以在“存储”选项卡上的Spark Web UI中看到该名称。

Answer 2

在RDD的源代码中说明了这一点：

/** A friendly name for this RDD */
  @transient var name: String = null

  /** Assign a name to this RDD */
  def setName(_name: String): this.type = {
    name = _name
    this
  }

实际上，为了向用户提供帮助，以便为程序员选择的名称添加新控件到RDD。总是很高兴有一个字段来描述或命名一个对象，用于识别，安全，允许操作，记录......