Question

我已经在一个相当大的C ++项目上工作了几个星期了。我最初的目标是使用这个项目来学习C ++ 11并仅使用纯C ++代码并避免手动分配和C构造。但是，我认为这个问题会迫使我用C来做一个小函数，我想知道原因。

基本上我有一个保存功能，它会在我更改其中的数据之前将一个稍大的二进制文件复制到一个单独的位置。文件本身是CD图像，最大大小约为700MB。这是我使用的原始C ++代码：

std::ios::sync_with_stdio(false);

std::ifstream in(infile, std::ios::binary);
std::ofstream out(outfile, std::ios::binary);

std::copy(std::istreambuf_iterator<char>(in), std::istreambuf_iterator<char>(), std::ostreambuf_iterator<char>(out));

out.close();
in.close();

与690MB文件一起使用时，此代码只需不到4分钟即可完成。我用多个文件运行它并且它总是相同的结果;没有3分钟。但是，我还发现以下方式运行得更快，但仍然没有C：

std::ios::sync_with_stdio(false);

std::ifstream in(infile, std::ios::binary);
std::ofstream out(outfile, std::ios::binary);

out << in.rdbuf();

out.close();
in.close();

这个花了24秒，但它仍然比C慢20倍。

环顾四周后，我发现有人需要写一个80GB的文件，看到他可以使用C全速写入。我决定尝试使用这段代码：

FILE *in = fopen(infile, "rb");
FILE *out = fopen(outfile, "wb");

char buf[1024];
int read = 0;

//  Read data in 1kb chunks and write to output file
while ((read = fread(buf, 1, 1024, in)) == 1024)
{
  fwrite(buf, 1, 1024, out);
}

//  If there is any data left over write it out
fwrite(buf, 1, read, out);

fclose(out);
fclose(in);

结果令人震惊。这是我在许多不同文件上多次运行后的基准测试之一：

File Size: 565,371,408 bytes
C  :   1.539s | 350.345 MB/s
C++:  24.754s | 21.7815 MB/s - out << in.rdbuf()
C++: 220.555s | 2.44465 MB/s - std::copy()

造成这种巨大差异的原因是什么？我知道C ++不会与普通C的性能相匹敌，但348MB / s的差异是巨大的。我有什么遗失的吗？

编辑：

我正在使用Windows 8.1 64位操作系统上的Visual Studio 2013进行编译。

编辑2：

在阅读John Zwinck的回答之后，我决定采用平台特定的路线。由于我仍然想让我的项目跨平台，我把一个快速的例子拼凑起来。我真的不确定这些是否适用于Windows以外的其他系统，但我可以在以后测试Linux。我无法测试OSX，但我认为copyfile看起来像一个简单的函数，所以我认为它是正确的。

请记住，您需要使用相同的#ifdef逻辑来包含特定于平台的标头。

void copy(std::string infile, std::string outfile)
{
#ifdef _WIN32 || _WIN64
  //  Windows
  CopyFileA(infile.c_str(), outfile.c_str(), false);
#elif __APPLE__
  //  OSX
  copyfile(infile.c_str(), outfile.c_str(), NULL, COPYFILE_DATA);
#elif __linux
  //  Linux
  struct stat stat_buf;
  int in_fd, out_fd;
  offset_t offset = 0;

  in_fd = open(infile.c_str(), O_RDONLY);
  fstat(in_fd, &stat_buf);
  out_fd = open(outfile.c_str(), O_WRONLY | O_CREAT, stat_buf.st_mode);

  sendfile(out_fd, in_fd, &offset, stat_buf.st_size);

  close(out_fd);
  close(in_fd);
#endif
}

Answer 1

首先，您还应该使用同一台计算机上的CLI复制同一文件进行基准测试。

其次，如果您想获得最高性能，则需要使用特定于平台的API。在Windows上可能是CopyFile / CopyFileEx，在Mac OS上它是copyfile，在Linux上它是sendfile。其中一些（绝对是sendfile）提供了使用C或C ++中的基本便携式东西无法实现的性能。其中一些（CopyFileEx和copyfile）提供了额外的功能，例如复制文件系统属性和可选的进度回调。

您可以看到一些基准测试，显示sendfile的速度有多快：Copy a file in a sane, safe and efficient way

最后，令人遗憾的是，在许多平台上，C ++ iostream并不像C文件I / O那么快。如果您非常关心性能，那么最好使用C函数。在进行运行速度很重要的编程竞赛时我遇到过这种情况：使用scanf和printf代替cin和cout在许多系统上都有很大的不同。

为什么用C语言复制文件比C ++快得多？

1 个答案: