c++ - CUDA 设备到主机复制非常慢

我正在运行 Windows 7 64 位、cuda 4.2、visual studio 2010。

首先，我在 cuda 上运行一些代码，然后将数据下载回主机。然后做一些处理并移回设备。
然后我做了以下从设备到主机的复制，它运行得非常快，比如 1ms。

clock_t start, end;
count=1000000;
thrust::host_vector <int> h_a(count);
thrust::device_vector <int> d_b(count,0);
int *d_bPtr = thrust::raw_pointer_cast(&d_b[0]);
start=clock();
thrust::copy(d_b.begin(), d_b.end(), h_a.begin());
end=clock();
cout<<"Time Spent:"<<end-start<<endl;

完成大约需要 1 毫秒。

然后我再次在 cuda 上运行了一些其他代码，主要是原子操作。然后我将数据从设备复制到主机，需要很长时间，比如~9s。

__global__ void dosomething(int *d_bPtr)
{
....
atomicExch(d_bPtr,c)
....
}

start=clock();
thrust::copy(d_b.begin(), d_b.end(), h_a.begin());
end=clock();
cout<<"Time Spent:"<<end-start<<endl;

~ 9s

例如，我多次运行代码

int i=0;
while (i<10)
{
clock_t start, end;
count=1000000;
thrust::host_vector <int> h_a(count);
thrust::device_vector <int> d_b(count,0);
int *d_bPtr = thrust::raw_pointer_cast(&d_b[0]);
start=clock();
thrust::copy(d_b.begin(), d_b.end(), h_a.begin());
end=clock();
cout<<"Time Spent:"<<end-start<<endl;

__global__ void dosomething(int *d_bPtr)
{
....
atomicExch(d_bPtr,c)
....
}

start=clock();
thrust::copy(d_b.begin(), d_b.end(), h_a.begin());
end=clock();
cout<<"Time Spent:"<<end-start<<endl;
i++
}

结果几乎相同。
可能是什么问题呢？

谢谢!

最佳答案

问题是时间问题，而不是复制性能的任何变化。内核启动在 CUDA 中是异步的，因此您测量的不仅是 thrust::copy 的时间，还包括您启动的先前内核完成的时间。如果您将复制操作计时的代码更改为如下所示:

cudaDeviceSynchronize(); // wait until prior kernel is finished
start=clock();
thrust::copy(d_b.begin(), d_b.end(), h_a.begin());
end=clock();
cout<<"Time Spent:"<<end-start<<endl;

您应该会发现传输时间已恢复到以前的性能。所以你真正的问题不是“为什么 thrust::copy 很慢”，而是“为什么我的内核很慢”。根据您发布的相当糟糕的伪代码，答案是“因为它充满了 atomicExch() 调用，这些调用序列化了内核内存事务”。

关于c++ - CUDA 设备到主机复制非常慢，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/12792693/