linux - 在Linux中使用vmsplice/splice进行零拷贝

我正在尝试使用以下方法在Linux中工作的零拷贝语义
vmsplice()/splice()但我看不到任何性能改进。这
在Linux 3.10上，在3.0.0和2.6.32上尝试过。以下代码尝试
做文件写入，我也尝试过网络套接字writes()
看到任何改善。

有人可以告诉我我做错了吗？

有没有人在生产中使用vmsplice()/splice()得到改进？

#include <assert.h>
#include <fcntl.h>
#include <iostream>
#include <stdlib.h>
#include <string.h>
#include <sys/time.h>
#include <unistd.h>
#include <vector>

const char *filename = "Test-File";
const int block_size = 4 * 1024;
const int file_size = 4 * 1024 * 1024;

using namespace std;

int pipes[2];
vector<char *> file_data;

static int NowUsecs() {
  struct timeval tv;
  const int err = gettimeofday(&tv, NULL);
  assert(err >= 0);
  return tv.tv_sec * 1000000LL + tv.tv_usec;
}

void CreateData() {
  for (int xx = 0; xx < file_size / block_size; ++xx) {
    // The data buffer to fill.
    char *data = NULL;
    assert(posix_memalign(reinterpret_cast<void **>(&data), 4096, block_size) == 0);
    file_data.emplace_back(data);
  }
}

int SpliceWrite(int fd, char *buf, int buf_len) {
  int len = buf_len;
  struct iovec iov;
  iov.iov_base = buf;
  iov.iov_len = len;

  while (len) {
    int ret = vmsplice(pipes[1], &iov, 1, SPLICE_F_GIFT);
    assert(ret >= 0);
    if (!ret)
      break;
    len -= ret;
    if (len) {
      auto ptr = static_cast<char *>(iov.iov_base);
      ptr += ret;
      iov.iov_base = ptr;
      iov.iov_len -= ret;
    }
  }

  len = buf_len;
  while (len) {
    int ret = splice(pipes[0], NULL, fd, NULL, len, SPLICE_F_MOVE);
    assert(ret >= 0);
    if (!ret)
      break;

    len -= ret;
  }

  return 1;
}

int WriteToFile(const char *filename, bool use_splice) {
  // Open and write to the file.
   mode_t mode = S_IRUSR | S_IWUSR | S_IRGRP | S_IROTH;
  int fd = open(filename, O_CREAT | O_RDWR, mode);
  assert(fd >= 0);

  const int start = NowUsecs();
  for (int xx = 0; xx < file_size / block_size; ++xx) {
    if (use_splice) {
      SpliceWrite(fd, file_data[xx], block_size);
    } else {
      assert(write(fd, file_data[xx], block_size) == block_size);
    }
  }
  const int time = NowUsecs() - start;

  // Close file.
  assert(close(fd) == 0);

  return time;
}

void ValidateData() {
  // Open and read from file.
  const int fd = open(filename, O_RDWR);
  assert(fd >= 0);

  char *read_buf = (char *)malloc(block_size);
  for (int xx = 0; xx < file_size / block_size; ++xx) {
    assert(read(fd, read_buf, block_size) == block_size);
    assert(memcmp(read_buf, file_data[xx], block_size) == 0);
  }

  // Close file.
  assert(close(fd) == 0);
  assert(unlink(filename) == 0);
}

int main(int argc, char **argv) {
  auto res = pipe(pipes);
  assert(res == 0);

  CreateData();
  const int without_splice = WriteToFile(filename, false /* use splice */);
  ValidateData();
  const int with_splice = WriteToFile(filename, true /* use splice */);
  ValidateData();

  cout << "TIME WITH SPLICE: " << with_splice << endl;
  cout << "TIME WITHOUT SPLICE: " << without_splice << endl;

  return 0;
}

最佳答案

几年前，我做了一个概念验证，使用经过优化的，量身定制的vmsplice()代码使速度提高了4倍。这是根据通用的基于socket/write()的解决方案进行衡量的。 This blog post from natsys-lab回应了我的发现。但是我相信您需要确切的用例才能接近这个数字。

那你在做什么错？首先，我认为您正在衡量错误的内容。直接写入文件时，您有1个系统调用，即write()。而且您实际上并没有复制数据(除了复制到内核)。当您有一个要写入磁盘的数据缓冲区时，它的速度不会比这快。

在vmsplice/splice设置中，您仍将数据复制到内核中，但是总共有2个系统调用vmsplice()+ splice()将该数据获取到磁盘。与write()相同的速度可能只是对Linux系统调用速度的证明:-)

一种更“公平”的设置是编写一个程序，该程序从stdin中读取()并将相同数据写入(到)stdout。编写一个完全相同的程序，只需将stdin()stdin拼接到文件中(或在运行文件时将stdout指向文件)。尽管此设置可能太简单了，无法真正显示任何内容。

另外:vmsplice()的一个(未记录的？)功能是，您还可以用来从管道读取数据。我在以前的POC中使用了此功能。它基本上只是一个IPC层，基于使用vmsplice()传递内存页面的想法。

注意:NowUsecs()可能会溢出int