c++ - 如何将设备内存中分配的结构化数据从设备复制到主机

我是GPU和CUDA编程的新手。我正在尝试将设备上动态分配的结构化数据从设备复制到主机。我从GPU编程指南中修改了一个简单的代码。编译代码时没有任何错误，但是我唯一有问题的是输出错误，即“ 0”。这是代码：

#include <stdlib.h>
#include "cuda_runtime.h"
#include "device_launch_parameters.h"
#include <stdio.h>

typedef struct Point
{
    int2 pt;
};

#define NUMOFBLOCKS 1
#define THREDSPERBLOCK  16

__device__ Point* pnt[NUMOFBLOCKS];
Point dataptr_h[NUMOFBLOCKS][THREDSPERBLOCK];

__global__ void allocmem()
{
    if (threadIdx.x == 0)
        pnt[blockIdx.x] = (Point*)malloc(1*blockDim.x * sizeof(Point));
    __syncthreads();
}

__global__ void usemem()
{
    Point* ptr = pnt[blockIdx.x];
    if (ptr != NULL)
    {
        ptr[threadIdx.x].pt.x = threadIdx.x;
        ptr[threadIdx.x].pt.y = threadIdx.x;
        printf("Ptr = %d\t", ptr[threadIdx.x].pt.x);
    }
}

__global__ void freemem()
{
    Point* ptr = pnt[blockIdx.x];
    if (ptr != NULL)
        printf("Block %d, Thread %d: final value = %d\n", blockIdx.x, threadIdx.x, ptr[threadIdx.x]);
    if (threadIdx.x == 0)
        free(ptr);
}


int main()
{
    Point* d_pt[NUMOFBLOCKS];
    for (int i = 0 ; i < NUMOFBLOCKS; i++)
        cudaMalloc(&d_pt[i], sizeof(Point)*16);

    // Allocate memory
    allocmem<<< NUMOFBLOCKS, THREDSPERBLOCK >>>();
    // Use memory
    usemem<<< NUMOFBLOCKS, THREDSPERBLOCK >>>();
    cudaMemcpyFromSymbol(d_pt, pnt, sizeof(d_pt));
    cudaMemcpy(dataptr_h, d_pt, sizeof(dataptr_h), cudaMemcpyDeviceToHost);

    for (int j = 0 ; j < 1; j++)
        for (int i = 0 ; i < 16; i++)
        {
            printf("\nPtr_h(%d,%d)->X = %d\t", j, i, dataptr_h[j][i].pt.x);
            printf("Ptr_h(%d,%d)->Y = %d", j, i, dataptr_h[j][i].pt.y);
        }

    freemem<<< NUMOFBLOCKS, THREDSPERBLOCK >>>();
    cudaDeviceSynchronize();
    return 0;
}

代码的输出为：

Ptr_h(0,0)->X = 0       Ptr_h(0,0)->Y = 0
Ptr_h(0,1)->X = 0       Ptr_h(0,1)->Y = 0
Ptr_h(0,2)->X = 0       Ptr_h(0,2)->Y = 0
Ptr_h(0,3)->X = 0       Ptr_h(0,3)->Y = 0
Ptr_h(0,4)->X = 0       Ptr_h(0,4)->Y = 0
Ptr_h(0,5)->X = 0       Ptr_h(0,5)->Y = 0
Ptr_h(0,6)->X = 0       Ptr_h(0,6)->Y = 0
Ptr_h(0,7)->X = 0       Ptr_h(0,7)->Y = 0
Ptr_h(0,8)->X = 0       Ptr_h(0,8)->Y = 0
Ptr_h(0,9)->X = 0       Ptr_h(0,9)->Y = 0
Ptr_h(0,10)->X = 0      Ptr_h(0,10)->Y = 0
Ptr_h(0,11)->X = 0      Ptr_h(0,11)->Y = 0
Ptr_h(0,12)->X = 0      Ptr_h(0,12)->Y = 0
Ptr_h(0,13)->X = 0      Ptr_h(0,13)->Y = 0
Ptr_h(0,14)->X = 0      Ptr_h(0,14)->Y = 0
Ptr_h(0,15)->X = 0      Ptr_h(0,15)->Y = 0

我该怎么做才能解决此问题？

最佳答案

您不能将设备malloc操作创建的指针与CUDA运行时API（即cudaMemcpy）一起使用

所以这行代码是有问题的：

cudaMemcpy(dataptr_h, d_pt, sizeof(dataptr_h), cudaMemcpyDeviceToHost);

d_pt包含从pnt拾取的指针。而pnt的值是由设备malloc设置的。

相反，您需要创建使用cudaMalloc正确分配的区域，然后将所需数据首先复制到那些区域（从设备上的一个区域复制到另一区域），然后使用cudaMemcpy复制到主机。

在进一步解释您的下一个反对意见之前，让我们清楚一下，上面是您的意图（将在设备malloc操作中创建的指针用作cudaMemcpy的目标之一）。这是不合法的。

“但是我用cudaMalloc？”

d_pt是驻留在主机内存中的指针数组。您已使用上述指针中的每个指针，并使用cudaMalloc为其分配了一个值（设备存储器中的指向位置）。

然后这行代码：

cudaMemcpyFromSymbol(d_pt, pnt, sizeof(d_pt));

用从设备内存中其他位置获得的指针，特别是由设备malloc分配的指针，重写了您设置的所有那些指针。尽管从技术上讲这是合法的（该行代码不会引发错误），但这些指针在主机上是无用的（无论如何都与运行时API一起使用）。

关于c++ - 如何将设备内存中分配的结构化数据从设备复制到主机，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/19507740/