Google Cloud Composer花费太长时间来安装依赖项

时间:2019-06-07 19:11:36

标签: pypi google-cloud-composer

我正在跟踪Google Cloud Composer的文档,以从PyPI(https://cloud.google.com/composer/docs/how-to/using/installing-python-dependencies#install-package)安装我的Python依赖项

我使用此命令从需求文件安装库:

gcloud composer environments update ENV_NAME \
--update-pypi-packages-from-file requirements.txt \
--location us-east4

这只是一个测试,此要求仅安装4个库,但是执行此命令需要花费20多分钟的时间。因此,我尝试使用用户界面并从那里安装单个软件包,这几乎需要花费相同的时间。对我来说没有什么意义,当我执行这些命令时,环境进入“更新状态”,需要几分钟才能再次准备就绪,为什么Composer花费这么长时间来执行pip install

有人已经面临类似的问题吗?你们如何管理Composer中Python依赖项的安装?

谢谢

2 个答案:

答案 0 :(得分:1)

Cloud Composer环境需要花费很长时间进行更新的原因是,该服务在Google Kubernetes Engine和App Engine(用于Web服务器)中以分布式设置部署了Airflow。这意味着该服务必须负责构建/重建容器映像,将它们重新部署到您的群集,更新Web服务器应用程序等。

虽然这确实意味着安装软件包或对环境进行更新可能会花费一些时间,但这正是使Composer易于使用的原因-即使您有数十个安装包,它也可以提供与pip install相同的功能工作节点。

答案 1 :(得分:0)

Google Cloud Composer将需要一些时间来根据基础节点更新应用程序引擎。对我而言,仅使用PYPI安装一个特定的组件,大约需要20分钟的时间,其中包含3个节点。

如果您可以一次性安装所有必需的依赖项软件包,则也将花费相同的时间。