Question

我正在进行一个排序项目，我已经到了一个主要瓶颈在于读取数据。我的程序需要大约20秒才能使用cin和std::ios::sync_with_stdio(false);对从stdin读入的100,000,000个整数进行排序，但事实证明这些秒中有10个正在读取要排序的数据。我们知道我们将读入多少个整数（计数位于我们需要排序的文件的顶部）。

如何让它更快？我知道这是可能的，因为上一学期的学生能够在3秒多的时间内进行计数排序（这基本上是纯粹的阅读时间）。

该程序只是输入一个文件的内容，整数由新行分隔，如$ ./program < numstosort.txt

由于

以下是相关代码：

    std::ios::sync_with_stdio(false);
    int max;
    cin >> max;
    short num;
    short* a = new short[max];
    int n = 0;
    while(cin >> num) { 
        a[n] = num;
        n++;
    }

Answer 1

假设Linux / POSIX在商用硬件上运行，这将尽可能快地将数据存入内存。请注意，由于您显然不允许使用编译器优化，因此C ++ IO不会是读取数据的最快方法。正如其他人所指出的那样，如果不进行优化，C ++代码就不会以尽可能快的速度运行。

鉴于重定向文件已作为stdin / STDIN_FILENO打开，请使用低级系统调用/ C样式IO。这不会需要进行优化，因为它会尽可能快地运行：

struct stat sb;
int rc = ::fstat( STDIN_FILENO, &sb );

// use C-style calloc() to get memory that's been
// set to zero as calloc() is often optimized to be
// faster than a new followed by a memset().
char *data = ::calloc( 1, sb.st_size + 1 );
size_t totalRead = 0UL;
while ( totalRead  < st.st_size )
{
    ssize_t bytesRead = ::read( STDIN_FILENO,
        data + totalRead, sb.st_size - totalRead );
    if ( bytesRead <= 0 )
    {
        break;
    }
    totalRead += bytesRead;
}

// data is now in memory - start processing it

该代码将您的数据作为一个长C风格的字符串读入内存。缺乏编译器优化并不重要，因为它几乎都是裸机系统调用。

使用fstat()获取文件大小允许一次分配所有需要的内存 - 不需要realloc()或复制数据。

您需要添加一些错误检查，并且更强大的代码版本会检查以确保从fstat()返回的数据实际上是具有实际大小的常规文件，而不是＆＃34;无用的猫＆＃34;例如cat filename | YourProgram，因为在这种情况下fstat()调用不会返回有用的文件大小。您需要在通话后检查sb.st_mode的{{1}}字段，以查看struct stat信息流真正的内容：

stdin

（对于真正的高性能系统，确保您正在读取数据的内存页面实际映射到您的进程地址空间非常重要。如果数据到达的速度比内核更快，性能可能会失效＃39; s内存管理系统可以为页面数据创建虚拟到物理映射。）

为了尽可能快地处理大文件，你想要多线程，一个线程读取数据并提供一个或多个数据处理线程，这样你就可以在阅读之前开始处理数据它

编辑：解析数据。

同样，防止编译器优化可能会使C ++操作的开销慢于C风格的处理。基于这个假设， simple 可能会运行得更快。

在非优化二进制文件中，这可能会更快地运行，假设数据是如上所述读取的C风格字符串：

::fstat( STDIN_FILENO, &sb );
...
if ( S_ISREG( sb.st_mode ) )
{
    // regular file...
}

这也是非常脆弱。它依赖于strtol() skipping over leading whitespace，这意味着如果除了数值之外的其他任何内容，它将失败。它还依赖于正确的初始计数值。再次 - 如果这不正确，代码将失败。并且因为它可以在检查错误之前替换char *next; long count = ::strtol( data, &next, 0 ); long *values = new long[ count ]; for ( long ii = 0; ii < count; ii++ ) { values[ ii ] = ::strtol( next, &next, 0 ); }的值，如果由于数据不良而导致其失效，那么它将无可救药地丢失。

但是如果不允许编译器优化，它应该尽可能快。

对于不允许编译器优化而言，这是多么疯狂。您可以编写简单，强大的C ++代码来完成所有处理，使用优秀的优化编译器，并且可能运行速度几乎与我发布的代码一样快 - 没有错误检查，并且如果使用馈送，则会以意外和未定义的方式出现故障意外数据。

Answer 2

如果使用SolidState硬盘，可以加快速度。如果你想问一些有关代码性能的问题，你需要发布你最初是如何做事的。

Answer 3

您可以通过将数据读入缓冲区，然后将缓冲区中的文本转换为内部表示来加速程序。

这背后的想法是所有流设备都喜欢保持流式传输。启动和停止流浪费时间。块读取通过一个事务传输大量数据。

虽然使用cin和缓冲区缓存了cin.read，但您可以使缓冲区比cin使用的要大很多。

如果数据具有固定宽度字段，则有机会加快输入和转换过程。

编辑1：示例

const unsigned int BUFFER_SIZE = 65536;
char               text_buffer[BUFFER_SIZE];
//...
cin.read(text_buffer, BUFFER_SIZE);
//...
int value1;
int arguments_scanned = snscanf(&text_buffer, REMAINING_BUFFER_SIZE, 
                                "%d", &value1);

棘手的部分是处理在缓冲区末尾切断数字文本的情况。

Answer 4

与使用和不使用注释线的测试相比，你能运行这个小测试吗？

#include <iostream>
#include <cstdlib>

int main()
{
    std::ios::sync_with_stdio(false);

    char buffer[20] {0,};

    int t = 0;

    while( std::cin.get(buffer, 20) )
    {
 //       t = std::atoi(buffer);
        std::cin.ignore(1);
    }

    return 0;
}

纯读测试：

#include <iostream>
#include <cstdlib>

int main()
{
    std::ios::sync_with_stdio(false);

    char buffer[1024*1024];


    while( std::cin.read(buffer, 1024*1024) )
    {

    }


    return 0;
}

从stdin C ++中读取数百万个整数的最快方法？

4 个答案: