高优先级的齿轮工作岗位不被视为高优先级

时间:2014-01-30 21:43:20

标签: php multithreading gearman

我在php中为我的齿轮工人实现了一个“admin”钩子。这是为了监控工人的整体统计数据,而不是工作。它还提供了一种允许工作人员注销,清理和终止的方法。我这样做是通过注册第二个函数来处理这些“管理”请求。我想我可以发送一个“高”优先级的工作,而那个高优先级的工作应该抢占正常的优先级工作。情况似乎并非如此。

以下是我正在运行的测试的简化版本:

工人:

<?php 
$gmw = new GearmanWorker();
$gmw->addServer();
$gmw->addFunction('Test', 'handleWork');
$gmw->addFunction('Admin', 'handleAdmin');
$gmw->setTimeout(10000); // 10s wait timeout for I/O activity
$pass_count = 0;
$job_count = 0;
$kill = false;
while (@$gmw->work() || $gmw->returnCode() == GEARMAN_TIMEOUT) {
    $pass_count++;
    if ($kill) {
        if ($gmw->returnCode() != GEARMAN_TIMEOUT) $gmw->unregisterAll();
        if ($gmw->returnCode() == GEARMAN_SUCCESS) $job_count++;
        print("\n\nKill command received, exiting...");
        stats(false);
        break;
    }
    if ($gmw->returnCode() == GEARMAN_TIMEOUT) {
        continue;
    } else if ($gmw->returnCode() != GEARMAN_SUCCESS) {
        $gmw->unregisterAll();
        print("\n\nGot Gearman Code \"" . $gmw->returnCode() . "\", exiting");
        break;
    }
    $job_count++;
}

function handleWork(GearmanJob $job) {
    print('.');
    usleep(100000);
    return '{"consumed": true}';
}

function handleAdmin(GearmanJob $job) {
    global $kill, $pass_count, $job_count;
    $payload = json_decode($job->workload());
    if ($pass_count) $pass_count--;
    if ($job_count) $job_count--;
    switch ($payload->action) {
        case 'kill':
            $kill = true;
            return json_encode(array(
                'message' => 'Kill request received',
            ));

        case 'stats':
            return json_encode(stats(true));
    }
}

function stats($return=true) {
    global $pass_count, $job_count;
    $obj = array(
        'pass_count' => $pass_count,
        'job_count' => $job_count,
    );
    if ($return) return $obj;

    foreach ($obj as $k => $v) {
        print("\n" . $k . ":\t" . $v);
    }
    print("\n");
}

客户端1(向工作人员发送正常工作)

<?php
$gmc = new GearmanClient();
$gmc->addServer();

while (true) {
    print('.');
    for ($i=0; $i<100; $i++) {
        $gmc->addTaskBackground('Test', '{"foo":"bar"}');
    }
    $gmc->runTasks();
    sleep(15);
}

客户端2(发送获取统计信息的请求)

<?php
$gmc = new GearmanClient();
$gmc->addServer();
$gmc->setCompleteCallback('output');
$gmc->addTaskHigh('Admin', '{"action":"stats"}');
$gmc->runTasks();

function output(GearmanTask $task) {
    foreach (json_decode($task->data()) as $k => $v) {
        print("\n$k:\t$v");
    }
    print("\n");
}

客户端3(发送杀死工作人员的请求)

<?php
$gmc = new GearmanClient();
$gmc->addServer();
$gmc->setCompleteCallback('output');
$gmc->addTaskHigh('Admin', '{"action":"kill"}');
$gmc->runTasks();

function output(GearmanTask $task) {
    foreach (json_decode($task->data()) as $k => $v) {
        print("\n$k:\t$v");
    }
    print("\n");
}

我是不是错了?有一个更好的方法吗?请注意,运行WORKER和CLIENT 1是一个无限循环。当我运行CLIENT 2或CLIENT 3时,它总是等到客户端1发送的前100个作业完成后再运行提交的作业。

2 个答案:

答案 0 :(得分:0)

听起来你需要解决你的设置问题。使用像supervisord这样的任务主管来操作多个gearmand工人,然后你可以设计一个很好的方法让多个工人尊重你指定的优先级,而supervisord确保你有必要的工人数量。

健壮,有效。我正在使用这种类型的逻辑来启动和降低AMI以转码应用服务器请求工作人员的视频。

祝你好运!

http://supervisord.org

答案 1 :(得分:0)

四年之后,您可能对此不再感兴趣,但是我还是添加一个答案,因为答案很有趣。

Gearmand仅按每个功能的优先级命令执行作业。 解决此限制的方法有两种:

  • 请两名工作人员,一名负责“测试”,一名负责“ Admin”
  • 运行一个工作程序,但在“测试”(!)之前注册“管理员” 。之所以可行,是因为Gearmand首先按职能选择优先级,然后按优先级选择新任务。

另请参阅https://github.com/gearman/gearmand/issues/173