GAE最大任务队列处理率

时间:2015-09-23 17:59:35

标签: python google-app-engine task-queue

问题:

  1. 是否可以每秒处理超过500个任务每个任务队列
  2. 是否可以每秒处理超过50,000个任务每个GAE应用
  3. 详细说明:

    Task queue quota文档说:

      

    推送队列限制   
      队列执行率:每个队列每秒500个任务调用

         

    组合限制(推送和拉取队列)   
    最大活动队列数(不包括默认队列)>
    免费应用:10个队列,收费应用:100个队列

    500 * 100 = 50.000

    我将GAE应用推向极限,我的目标是每秒处理超过100,000个处理请求。

    可能:
    http://googlecloudplatform.blogspot.com/2013/12/013-year-in-review-topping-100000-requests-per-second.html

    我根本不知道他们是否使用过任务队列。

    感谢您提供任何提示!

1 个答案:

答案 0 :(得分:1)

如果使用推送队列,那么答案将是,这些是the task queue quotas

如果使用队列你不会超过其他配额,你可以走得更高 - 拉队列没有执行率限制(这实际上取决于工作者配置/可扩展性)

正如Josh所说,文章引用了Web请求,而不是任务队列请求。而那100k rps恰好是特定应用程序的最高测量率,并不意味着它无法做得更好。

对于网络请求的成功响应的实际比率可能会受到the safety or billing limits/quotas的限制,这些the requests quotas强加于您的应用在构建对这些请求的响应时使用的各种基础设施。 GAE通常仍会响应其他请求,但会出现错误响应(好吧,如果也达到了传出带宽配额,则可能没有。)

但是,如果您的应用没有使用带有配额的任何基础设施(例如,如果它只提供静态内容),则其响应率仅受{{3}}的限制,对于结算的应用,转换为10 GB /分钟输出带宽。例如,如果你的静态内容响应有1K,那就是~174k rps,如果它们只有100个字节,则最大值将是一个大约1.747.000 rps。等等。

如您所见,您的应用的功能,设计和实施以及您愿意花费的资金在GAE上可以实现的性能很多