飞溅容器在30分钟后停止工作

时间:2018-03-01 05:56:02

标签: python docker scrapy haproxy scrapy-splash

我有水族馆和飞溅的问题。他们在开始后30分钟后停止工作。加载的页数为50K-80K。 我做了一个cron工作,每10分钟自动重启一次,每个Splash容器,但它没有工作 我该如何解决?

这是截屏enter image description here 来自HAProxy enter image description here的统计数据 这是Splash config

splash0:
    image: scrapinghub/splash:3.0
    command: --max-timeout 3600 --slots 150 --maxrss 1000 --verbosity 5
    logging:
      driver: "none"
    expose:
        - 8050
    mem_limit: 1000m
    memswap_limit: 1000m
    restart: always

和HAProxy

    backend splash-cluster
    option httpchk GET /
    balance leastconn

    # try another instance when connection is dropped
    retries 2
    option redispatch
    server splash-0 splash0:8050 check maxconn 150 inter 2s fall 10 observe layer4
backend splash-misc
    balance roundrobin
    server splash-0 splash0:8050 check fall 15

更新1 这是重启的脚本

    #!/bin/sh

echo "BEGIN" >> restart.log
for index in 0 1 2 3 4 5 6  7
do
    docker-compose restart splash$index
    echo "Restarted: Splash$index. Time: $(date '+%A %W %Y %X')" >> restart.log
    sleep 1
done
echo "END" >> restart.log

它应该有效,因为我已经登录了一个文件 的cronjob:

cd /var/www/project/aquarium && sh splash_restart.sh

0 个答案:

没有答案