将与pyspark相关的JAR软件包安装到Foundry中

时间:2020-09-30 09:36:32

标签: apache-spark pyspark conda palantir-foundry

我们想安装Spark-Alchemy以便在铸造厂的Pyspark中使用它(我们想使用他们的超级日志功能)。虽然我知道如何安装pip程序包,但是我不确定安装这种程序包需要什么。

感谢与pyspark一起使用hyperloglog的任何帮助或替代解决方案,谢谢!

2 个答案:

答案 0 :(得分:1)

Foundry中的PySpark转换存储库已连接到conda。您可以使用coda_recipe/meta.yml将包拉入转换。如果您想要的软件包在您的频道中不可用,我建议您与管理员联系,询问是否可以添加它。添加自定义jar来扩展spark是您的平台管理员需要检查的事情,因为它可能会带来安全风险。

我做了一个$ conda search spark-alchemy,却找不到任何相关内容,并且通读了这些说明https://github.com/swoop-inc/spark-alchemy/wiki/Spark-HyperLogLog-Functions#python-interoperability,这使我猜测没有可用的conda软件包。

答案 1 :(得分:0)

对于这个特定库的使用我无法发表评论,但总的来说,Foundry支持Conda频道,如果您有Conda存储库并配置Foundry以连接到该频道,则可以添加此库或其他库并在您的库中引用代码。

相关问题