什么是数据砖火花增量表？他们还会存储特定会话的数据吗？如何查看这些增量表及其结构？

Question

spark delta表的用途是什么？他们是要永久存储数据还是仅保留处理数据直到会话持续。如何在Spark集群中查看它们以及它们所属的数据库。

Answer 1

  

spark delta表的用途是什么？

主要目标是在多集群设置中启用单表跨国写操作。这是通过保留事务日志来实现的（思想与典型数据库系统中的仅追加表非常相似）。

  

它们是要永久存储数据还是仅保留处理数据直到会话持续。

存在持久性，并且定义为跨会话。

  

。如何在Spark集群中查看它们以及哪个数据库

与Spark中的任何其他表相同。没有特定于任何数据库的文件，而是使用delta格式编写的。