多个工作线程与一个具有异步/等待的工作者

时间:2013-10-13 04:02:48

标签: c# multithreading asynchronous task-parallel-library async-await

我的代码目前有以下10个工作线程。每个工作线程继续从队列中轮询作业,然后处理长时间运行的作业。

for (int k=0; k<10; k++)
{
  Task.Factory.StartNew(() => DoPollingThenWork(), TaskCreationOptions.LongRunning);
}

void DoPollingThenWork()
{
  while (true)
  {
    var msg = Poll();
    if (msg != null)
    {
      Thread.Sleep(3000); // process the I/O bound job
    }
  }
}

我正在重构底层代码以使用async / await模式。我想我可以将上面的代码重写为以下内容。它使用一个主线程来继续创建异步任务,并使用SemaphoreSlim将并发任务的数量限制为10个。

Task.Factory.StartNew(() => WorkerMainAsync(), TaskCreationOptions.LongRunning);

async Task WorkerMainAsync()
{
  SemaphoreSlim ss = new SemaphoreSlim(10);
  while (true)
  {
    await ss.WaitAsync();
    Task.Run(async () => 
              {
                await DoPollingThenWorkAsync();
                ss.Release();
              });
  }
}

async Task DoPollingThenWorkAsync()
{
  var msg = Poll();
  if (msg != null)
  {
    await Task.Delay(3000); // process the I/O-bound job
  }
}

两者都应该表现相同。但我认为第二种选择似乎更好,因为它不会阻止线程。但缺点是我不能做等待(优雅地停止任务),因为任务就像火和忘记。第二种选择是替换传统工作线程模式的正确方法吗?

2 个答案:

答案 0 :(得分:4)

当您拥有异步代码时,您通常没有理由使用Task.Run()(或更糟糕的是,Task.Factory.StartNew())。这意味着您可以将代码更改为以下内容:

await WorkerMainAsync();

async Task WorkerMainAsync()
{
  SemaphoreSlim ss = new SemaphoreSlim(10);
  while (true)
  {
    await ss.WaitAsync();
    // you should probably store this task somewhere and then await it
    var task = DoPollingThenWorkAsync();
  }
}

async Task DoPollingThenWorkAsync(SemaphoreSlim semaphore)
{
  var msg = Poll();
  if (msg != null)
  {
    await Task.Delay(3000); // process the I/O-bound job
  }

  // this assumes you don't have to worry about exceptions
  // otherwise consider try-finally
  semaphore.Release();
}

答案 1 :(得分:2)

通常,您不会在内部使用async/await 一个受CPU限制的任务。启动此类任务的方法(WorkerMainAsync)可以使用async/await,但您应该跟踪待处理的任务:

async Task WorkerMainAsync()
{
  SemaphoreSlim ss = new SemaphoreSlim(10);
  List<Task> trackedTasks = new List<Task>();
  while (DoMore())
  {
    await ss.WaitAsync();
    trackedTasks.Add(Task.Run(() => 
              {
                DoPollingThenWorkAsync();
                ss.Release();
              }));
  }
  await Task.WhenAll(trackedTasks);
}

void DoPollingThenWorkAsync()
{
  var msg = Poll();
  if (msg != null)
  {
    Thread.Sleep(2000); // process the long running CPU-bound job
  }
}

另一项练习是在trackedTasks完成任务时删除任务。例如,您可以使用ContinueWith删除已完成的任务(在这种情况下,请记住使用lock来保护trackedTasks不要同时访问。

如果您确实需要在await内使用DoPollingThenWorkAsync,则代码不会发生太大变化:

    trackedTasks.Add(Task.Run(async () => 
              {
                await DoPollingThenWorkAsync();
                ss.Release();
              }));

请注意,在这种情况下,您将在这里处理with a nested task异步lambda,Task.Run会自动为您解开。