我是Spark和Elastic search的新手。对于我的示例，从hdfs加载CSV并通过spark-sql处理并将结果集移动到弹性搜索实例。到目前为止，我还没有遇到任何问题。
data.select($"EMPLOYEE_ID", $"FIRST_NAME", $"LAST_NAME",$"JOB_ID").
write.format("org.elasticsearch.spark.sql").mode(SaveMode.Overwrite).save("emp/data")
我正在使用KIBANA仪表板进行可视化。重新运行spark应用程序后，我在kibana仪表板中看不到最近的数据输出。手动执行“索引刷新”后，它显示最近的数据。无论如何，用弹性数据更新后是否可以自动刷新kibana数据