如何使用火花corenlp NER标记？

Question

请你提供stanford corenlp的例子吗？ 请在Scala中提供我需要在火花壳中使用它。 网站上提供的所有示例均以Java格式提供。

Answer 1

以下是Scala的示例：

import org.apache.spark.sql.functions._
import com.databricks.spark.corenlp.functions._

import sqlContext.implicits._

val input = Seq(
  (1, "<xml>Stanford University is located in California. It is a great university.</xml>")
).toDF("id", "text")

val output = input
  .select(cleanxml('text).as('doc))
  .select(explode(ssplit('doc)).as('sen))
  .select('sen, tokenize('sen).as('words), ner('sen).as('nerTags), sentiment('sen).as('sentiment))

output.show(truncate = false)