Question

我使用Spark 1.3。

我的数据有50个以上的属性，因此我选择了自定义类。

如何通过名称而不是按位置

从自定义类访问字段

每次我需要调用方法productElement（0）

此外我不应该使用case类，因此我使用Custom类进行架构。

 class OnlineEvents(gsm_id:String,
          attribution_id:String,
          event_date:String,
          event_timestamp:String,
          event_type:String
          ) extends Product {

  override def productElement(n: Int): Any = n match {
  case 0 => impression_id
  case 1 => attribution_id
  case 2 => event_date
  case 3 => event_timestamp
  case 4 => event_type

  case _ => throw new IndexOutOfBoundsException(n.toString)
 }

  override def productArity: Int = 5

  override def canEqual(that: Any): Boolean = that.isInstanceOf[OnlineEvents]

 }

My Spark Code：

  val onlineRDD = sc.textFile("/user/cloudera/input_files/online_events.txt")

  val schemaRDD = onlineRDD.map(record => {
                                         val arr: Array[String] = record.split(",")
                                          new OnlineEvents(arr(0),arr(1),arr(2),arr(3),arr(4))
})
 val keyvalueRDD =  schemaRDD .map(online => ((online.productElement(0).toString,online.productElement(4).toString),online))

如果我尝试从OnlineEvents访问任何字段，那么我需要使用productElement（）。（即gsm_id的online.productElement（0））

我可以直接访问该字段为online.gsm_id ... online.event_type，以便我的代码易于阅读

当我使用自定义类进行架构时，如何通过其名称直接访问字段？

Answer 1

根据我对您的问题的理解，您需要在functions内定义一些OnlineEvents以返回类型。所以你的解决方案应该是

class OnlineEvents(gsm_id:String,
                   attribution_id:String,
                   event_date:String,
                   event_timestamp:String,
                   event_type:String
                  ) extends Product {
  def get_gsm_id(): String ={
    gsm_id
  }

  def get_attribution_id(): String ={
    attribution_id
  }

  def get_event_date(): String ={
    event_date
  }

  def get_event_timestamp(): String ={
    event_timestamp
  }

  def get_event_type(): String ={
    event_type
  }

  override def productElement(n: Int): Any = n match {
    case 0 => gsm_id
    case 1 => attribution_id
    case 2 => event_date
    case 3 => event_timestamp
    case 4 => event_type

    case _ => throw new IndexOutOfBoundsException(n.toString)
  }

  override def productArity: Int = 5

  override def canEqual(that: Any): Boolean = that.isInstanceOf[OnlineEvents]

}

并调用下面的功能

val keyvalueRDD =  schemaRDD .map(online => ((online.get_gsm_id().toString,online.get_event_type().toString),online))

Answer 2

我强烈建议每个用例使用一个案例类（它们共同涵盖了使用数据的所有用例）。

单个用例将是一个案例类，可以帮助您节省大量关于如何维护50多个字段的想法。

是的，你＆＃34;＆＃34;贸易＆＃34; 10个5字段案例类的单个50个或更多字段的大型课程，但考虑到创建案例类是多么容易，以及它们如何很好地描述您的数据，我认为值得麻烦。 / p>

在Spark中如何通过名称本身而不是索引来读取字段

2 个答案: