如何将数据从Cassandra复制到Elasticsearch？

Question

如何将数据从Cassandra复制到Elasticsearch？我应该使用Spark，是否有一些方便的插件/其他工具呢？

Cassandra版本是2.1.5 dsc

Spark版本是1.2.1

Elasticsearch版本为2.2.0

修改：

我试图用火花来实现这个目标：

import org.elasticsearch.spark._
import org.elasticsearch.spark.rdd.EsSpark

json_rdd = ...
EsSpark.saveToEs(json_rdd, "index_name")

我试图遵循https://www.elastic.co/guide/en/elasticsearch/hadoop/2.2/spark.html文件但我无法找到与弹性搜索的连接发生在哪里？

Answer 1

1）以独立模式安装Spark，在Cassandra节点上共同定位Spark worker

2）使用Spark-Cassandra连接器从Cassandra

本地获取数据

3）使用Spark-ES连接器将数据推送到ES