snakeyaml和spark导致无法构造对象

时间：2016-06-23 22:25:20

标签： scala apache-spark snakeyaml

以下代码在给定snakeyaml版本1.17

的scala shell中执行正常 
import org.yaml.snakeyaml.Yaml
import org.yaml.snakeyaml.constructor.Constructor
import scala.collection.mutable.ListBuffer
import scala.beans.BeanProperty

class EmailAccount {
  @scala.beans.BeanProperty var accountName: String = null

  override def toString: String = {
    return s"acct ($accountName)"
  }
}

val text = """accountName: Ymail Account"""

val yaml = new Yaml(new Constructor(classOf[EmailAccount]))
val e = yaml.load(text).asInstanceOf[EmailAccount]
println(e)

然而，当在spark（在这种情况下为2.0.0）中运行时，产生的错误是：

org.yaml.snakeyaml.constructor.ConstructorException: Can't construct a java object for tag:yaml.org,2002:EmailAccount; exception=java.lang.NoSuchMethodException: EmailAccount.<init>()
 in 'string', line 1, column 1:
    accountName: Ymail Account
    ^

  at org.yaml.snakeyaml.constructor.Constructor$ConstructYamlObject.construct(Constructor.java:350)
  at org.yaml.snakeyaml.constructor.BaseConstructor.constructObject(BaseConstructor.java:182)
  at org.yaml.snakeyaml.constructor.BaseConstructor.constructDocument(BaseConstructor.java:141)
  at org.yaml.snakeyaml.constructor.BaseConstructor.getSingleData(BaseConstructor.java:127)
  at org.yaml.snakeyaml.Yaml.loadFromReader(Yaml.java:450)
  at org.yaml.snakeyaml.Yaml.load(Yaml.java:369)
  ... 48 elided
Caused by: org.yaml.snakeyaml.error.YAMLException: java.lang.NoSuchMethodException: EmailAccount.<init>()
  at org.yaml.snakeyaml.constructor.Constructor$ConstructMapping.createEmptyJavaBean(Constructor.java:220)
  at org.yaml.snakeyaml.constructor.Constructor$ConstructMapping.construct(Constructor.java:190)
  at org.yaml.snakeyaml.constructor.Constructor$ConstructYamlObject.construct(Constructor.java:346)
  ... 53 more
Caused by: java.lang.NoSuchMethodException: EmailAccount.<init>()
  at java.lang.Class.getConstructor0(Class.java:2810)
  at java.lang.Class.getDeclaredConstructor(Class.java:2053)
  at org.yaml.snakeyaml.constructor.Constructor$ConstructMapping.createEmptyJavaBean(Constructor.java:216)
  ... 55 more

我用

启动了scala shell 
scala -classpath "/home/placey/snakeyaml-1.17.jar"

我用

启动了火花壳 
/home/placey/Downloads/spark-2.0.0-bin-hadoop2.7/bin/spark-shell --master local --jars /home/placey/snakeyaml-1.17.jar

1 个答案:

答案 0 :(得分：7)

解决方案

创建self-contained application并使用spark-submit而不是spark-shell运行它。

我为gist here创建了一个最小的项目。您需要做的就是将两个文件（build.sbt和Main.scala）放在某个目录中，然后运行：

sbt package

为了创建一个JAR。 JAR将位于target/scala-2.11/sparksnakeyamltest_2.11-1.0.jar或类似位置。如果您尚未使用它，可以get SBT from here。最后，您可以运行项目：

/home/placey/Downloads/spark-2.0.0-bin-hadoop2.7/bin/spark-submit --class "Main" --master local --jars /home/placey/snakeyaml-1.17.jar target/scala-2.11/sparksnakeyamltest_2.11-1.0.jar

输出应为：

[many lines of Spark's log)]
acct (Ymail Account)
[more lines of Spark's log)]

解释

Spark的shell（REPL）通过向构造函数添加$iw参数来转换您在其中定义的所有类。我explained it here。 SnakeYAML需要一个类似JavaBean类的零参数构造函数，但没有一个，所以它失败了。

您可以自己试试：

scala> class Foo() {}
defined class Foo

scala> classOf[Foo].getConstructors()
res0: Array[java.lang.reflect.Constructor[_]] = Array(public Foo($iw))

scala> classOf[Foo].getConstructors()(0).getParameterCount
res1: Int = 1

如您所见，Spark通过添加$iw类型的参数来转换构造函数。

替代解决方案

定义您自己的Constructor

如果你确实需要在shell中使用它，你可以定义自己的类实现org.yaml.snakeyaml.constructor.BaseConstructor并确保将$iw传递给构造函数，但这是很多工作（我实际上，出于安全原因，我在Scala中写了自己的Constructor，所以我对此有一些经验。）

您还可以定义一个自定义Constructor硬编码来实例化特定类（在您的案例中为EmailAccount），类似于DiceConstructor shown in SnakeYAML's documentation。这样更容易，但需要为每个要支持的类编写代码。

示例：

case class EmailAccount(accountName: String)

class EmailAccountConstructor extends org.yaml.snakeyaml.constructor.Constructor {

  val emailAccountTag = new org.yaml.snakeyaml.nodes.Tag("!emailAccount")
  this.rootTag = emailAccountTag
  this.yamlConstructors.put(emailAccountTag, new ConstructEmailAccount)

  private class ConstructEmailAccount extends org.yaml.snakeyaml.constructor.AbstractConstruct {
    def construct(node: org.yaml.snakeyaml.nodes.Node): Object = {
      // TODO: This is fine for quick prototyping in a REPL, but in a real
      //       application you should probably add type checks.
      val mnode = node.asInstanceOf[org.yaml.snakeyaml.nodes.MappingNode]
      val mapping = constructMapping(mnode)
      val name = mapping.get("accountName").asInstanceOf[String]
      new EmailAccount(name)
    }
  }

}

您可以将其另存为文件，并使用:load filename.scala将其加载到REPL中。

此解决方案的额外优势在于它可以直接创建不可变的案例类实例。不幸的是，Scala REPL似乎存在导入问题，因此我使用了完全限定名称。

不要使用JavaBeans

您也可以将YAML文档解析为简单的Java地图：

scala> val yaml2 = new Yaml()
yaml2: org.yaml.snakeyaml.Yaml = Yaml:1141996301

scala> val e2 = yaml2.load(text)
e2: Object = {accountName=Ymail Account}

scala> val map = e2.asInstanceOf[java.util.Map[String, Any]]
map: java.util.Map[String,Any] = {accountName=Ymail Account}

scala> map.get("accountName")
res4: Any = Ymail Account

这样SnakeYAML就不需要使用反射。

但是，由于您使用的是Scala，我建议您尝试使用 MoultingYAML，它是SnakeYAML的Scala包装器。它将YAML文档解析为简单的Java类型，然后将它们映射到Scala类型（甚至是您自己的类型，如EmailAccount）。

相关问题
最新问题