Question

我正在尝试使用google cloud dataproc下面的命令：

apt-get install oozie-client

但是dataproc未能在存储库中列出oozie包。

错误：

root@<master>:#> apt-get install oozie-client
Reading package lists... Done
Building dependency tree
Reading state information... Done
E: Unable to locate package oozie-client

有人知道如何解决这个问题吗？

Answer 1

对此的答案可能最好说它很复杂。

oozie-client目前不针对Hive 2和Spark 2进行编译.Cloud Dataproc的Newer versions是使用Spark 2和Hive构建的。因此，在这一点上，oozie-client被排除在我们的构建中，因为它有点混乱。

可能可以使用Pig和MapReduce。所以，这取决于你的用例。您是否计划将它与Pig / MR或Hive /或/ Spark一起使用？

Apache Airflow越来越多地与Cloud Dataproc一起使用，似乎运行良好。当然，那里有一些权衡，例如Airflow可能最好与集群本身分离，可能需要一段时间才能安装，并且是一个孵化项目。

（来源 - 我是Cloud Dataproc PM）

Dataproc无法安装oozie软件包

1 个答案: