弹性搜索和火花

Question

我正在尝试使用带有sbt工件的elasticsearch-spark库设置spark和Eleastic搜索："org.elasticsearch" %% "elasticsearch-spark" % "2.3.2"。当我尝试使用此代码配置元素搜索时：

val sparkConf = new SparkConf().setAppName("test").setMaster("local[2]")
.set("es.index.auto.create", "true")
    
.set("es.resource", "test")
.set("es.nodes", "test.com:9200")
       

我一直收到上述弹性搜索的所有set语句的错误：illegal character。有人知道这个问题吗？

Answer 1

您必须已从任何网站或任何其他博客复制代码。它包含实际上给你带来麻烦的不可读字符。

简单解决方案：删除所有内容。手动输入，然后运行它。如果您再遇到任何问题，请告诉我，我会帮助您。

Answer 2

您可能希望将elasticsearch.yml中的http.publish_host设置为HOST_NAME。 es-hadoop连接器正在从_nodes / transport API中嗅探节点，以便检查发布的http地址是什么。