请求执行者,因为任务被积压

时间:2016-05-10 00:19:02

标签: apache-spark pyspark cloudera-quickstart-vm

我有一个火花流应用程序,直到昨天一直运行得非常好,突然遇到这个警告。我有相同的环境并使用相同的代码。以下是警告:

  
    

05/09 17:13:03 INFO ExecutorAllocationManager:请求16个新的执行程序,因为任务被积压(新的期望总数将为31)     16/05/09 17:13:03 INFO ExecutorAllocationManager:请求19个新的     执行者因为任务积压(新的期望总数将为50)

  
     

16/05/09 17:13:12警告YarnScheduler:最初的工作还没有接受   资源;检查群集UI以确保已注册工作人员   并有足够的资源

     

16/05/09 17:13:27警告YarnScheduler:最初的工作还没有接受   资源;检查群集UI以确保已注册工作人员   并有足够的资源

我在cloudera 5.5上使用apache spark 1.6。快速入门VM。群集上没有运行任何应用程序来消耗可用资源。

是否有任何配置。

谢谢!

1 个答案:

答案 0 :(得分:0)

快速入门虚拟机旨在快速了解该功能,并可能配置为“适合安装在箱中”,而不是长期稳定。

通常,对于沙盒和快速入门的问题,我的建议是仅在需要时设置一个新的沙盒。

在这种情况下,快速入门适用于CDH,其后继产品(CDP)已经淘汰。

CDP,Cloudera Data Platform是CDH和HDP的后继产品。

如果您要签出最新版本,可以使用一个试用版,该试用版可用于大多数目的,您可能想使用快速入门。可以下载here


全面披露:我是Cloudera的一名员工,Cloudera是CDH和CDP背后的公司。

相关问题