弹性搜索数据与其他数据库同步

时间:2019-07-24 06:23:45

标签: elasticsearch logstash filebeat logstash-jdbc elk

我们将AWS托管的弹性搜索用于我们组织中的应用程序范围内的搜索。我们最初使用logstash转储了现有数据。我们正在维护规范化的结构,每个文档都包含来自不同数据库的信息。但是,我们对于使Elastic DB与数据库保持同步感到震惊。

一个选项是在ec2实例中运行logstash并在我们的服务器中安装Filebeat,它将监视日志文件并将更新发送到logstash,logstash会将数据吸收到Elastic搜索中。但是我们想从维护在不同服务器上的不同数据库中执行查询,并将查询结果数据吸收到弹性搜索中(尽管从理论上讲,我不知道这种方法是否有效)

另一种选择是手动为每个表添加触发器,并在postgres中监听更新,然后在Elastic Search中对其进行更新。

不确定第一种方法是否正确,但是第二种方法有效,但是它是幼稚的方法吗?我想知道是否还有更好的选择。

对任何其他替代方案的建议将不胜感激。谢谢

0 个答案:

没有答案
相关问题