Question

使用Linux（Ubuntu）应用程序。我需要以非阻塞的方式阅读许多文件。不幸的是，epoll不支持真正的文件描述符（来自文件的文件描述符），它确实支持网络套接字的文件描述符。 select确实适用于真实的文件描述符，但它有两个缺点：1）它很慢，线性地遍历所有设置的文件描述符，2）它是有限的，它通常不允许超过1024个文件描述符

我可以将每个文件描述符更改为非阻塞，并使用非阻塞“读取”进行轮询，但它非常昂贵，尤其是当存在大量文件描述符时。

这里有什么选择？

感谢。

更新1 这里的用例是创建某种文件服务器，许多客户端请求文件，以非阻塞方式提供服务。由于网络端实现（不是标准的TCP / IP堆栈），不能使用sendfile（）。

Answer 1

您可以使用多个wire调用以及线程或分叉。这会减少每select套FD_ISSET次呼叫的数量。

也许您可以提供有关您的用例的更多详细信息。听起来您正在使用select来监视文件更改，这与您对常规文件的预期效果不同。也许您只是在寻找select

Answer 2

您可以在Linux上使用异步IO。 relevant AIO manpages（第3节中的所有内容）似乎都有相当多的信息。我认为aio_read()可能对你最有用。

以下是一些我认为您应该能够适应您的用法的代码：

...

#define _GNU_SOURCE
#include <aio.h>
#include <unistd.h>

typedef struct {
    struct aiocb *aio;
    connection_data *conn;
} cb_data;

void callback (union sigval u) {
    // recover file related data prior to freeing
    cb_data data = u.sival_ptr;
    int fd = data->aio->aio_fildes;
    uint8_t *buffer = data->aio->aio_buf;
    size_t len = data->aio->aio_nbytes;
    free (data->aio);

    // recover connection data pointer then free
    connection_data *conn = data->conn;
    free (data);

    ...

    // finish handling request

    ...

    return;
}

...

int main (int argc, char **argv) {
    // initial setup

    ...

    // setup aio for optimal performance
    struct aioinit ainit = { 0 };
    // online background threads
    ainit.aio_threads = sysconf (_SC_NPROCESSORS_ONLN) * 4;
    // use defaults if using few core system
    ainit.aio_threads = (ainit.aio_threads > 20 ? ainit.aio_threads : 20)
    // set num to the maximum number of likely simultaneous requests
    ainit.aio_num = 4096;
    ainit.aio_idle_time = 5;

    aio_init (&ainit);

    ...

    // handle incoming requests
    int exit = 0;
    while (!exit) {

        ...

        // the [asynchronous] fun begins
        struct aiocb *cb = calloc (1, sizeof (struct aiocb));
        if (!cb)
            // handle OOM error
        cb->aio_fildes = file_fd;
        cb->aio_offset = 0; // assuming you want to send the entire file
        cb->aio_buf = malloc (file_len);
        if (!cb->aio_buf)
            // handle OOM error
        cb->aio_nbytes = file_len;
        // execute the callback in a separate thread
        cb->aio_sigevent.sigev_notify = SIGEV_THREAD;

        cb_data *data = malloc (sizeof (cb_data));
        if (!data)
            // handle OOM error
        data->aio = cb; // so we can free() later
        // whatever you need to finish handling the request
        data->conn = connection_data;
        cb->aio_sigevent.sigev_value.sival_ptr = data;  // passed to callback
        cb->aio_sigevent.sigev_notify_function = callback;

        if ((err = aio_read (cb)))  // and you're done!
            // handle aio error

        // move on to next connection
    }

    ...

    return 0;
}

这将导致您不再需要等待主线程中读取的文件。当然，您可以使用AIO创建更高性能的系统，但这些系统自然可能更复杂，这应该适用于基本用例。

阅读许多真实的文件描述符

2 个答案: