repartition(1) - 使加载非常缓慢

时间:2021-05-19 07:54:13

标签: apache-spark neo4j cypher databricks azure-databricks

当我从 spark-Databricks 加载 2000 万条记录时,提到重新分区时 (1) 在写入 neo4j 时-加载所有记录需要很多时间。如果我没有提到 repartition(1),它会因数据库未达到请求的版本错误而失败。如何克服这个问题?

DBR 规范:6.4(包括 Apache Spark 2.4.5、Scala 2.11)

连接器 - 库:

spark_cdm_connector_assembly_0_19_0.jar、neo4j-contrib:neo4j-connector-apache-spark_2.11:4.0.1

Neo4j - 单个 Neo4j 实例

错误:

org.neo4j.driver.exceptions.TransientException: 数据库 'xxx' 没有达到要求的版本:1879。最新的数据库版本是 1867

0 个答案:

没有答案
相关问题