使用 Pyspark 插入时锁定配置单元表

时间:2021-03-01 10:38:43

标签: apache-spark pyspark hive apache-spark-sql

我正在尝试将数据从同一数据库中的其他表同时插入到 hive 表中,要求是每当插入发生时,另一个插入语句应等待当前的插入语句完成。

这在从 Hive CLI 加载时工作正常,但使用 spark,锁定机制不起作用。

我开始知道 Spark 不支持 Lock in Hive table 从 version>2.0 开始,我的 spark 版本是 2.6

Will query from Spark hivecontext lock the hive table?

有没有什么办法可以使用spark来做到这一点?

0 个答案:

没有答案
相关问题