HBase 加载了来自 Spark Streaming 的实时数据。如何为每个键执行更新?

时间:2021-03-26 23:58:57

标签: apache-spark hbase spark-streaming

美好的一天。我正在使用 Spark 实时读取 REST Push API 数据并将数据加载到 HBase 表中。实时数据还将包含对 HBase 表中现有数据的更新,我正在考虑使用几个选项来处理它

  1. 必须根据密钥对实际数据执行更新。
  2. 根据密钥创建另一个版本的数据。以便在从报表工具读取数据时,可以从加载的最新记录中读取数据。

我可以知道在这种情况下哪种方法最好吗?

如果我需要遵循第 1 点,我如何对物理 HBase 表中的实际数据执行更多实时更新,其中我的 Streaming Spark 作业每 2 分钟运行一次。

如果我采用第 2 点,报告工具读取数据以在仪表板中显示实时更新的速度有多快,以及数据的一致性。

请分享您的回复。

谢谢。

0 个答案:

没有答案
相关问题