performance - 为什么批处理模式比parfor快得多？

我正在编写matlab代码以执行3维积分:

function [ fint ] = int3d_ser(R0, Rf, N)
Nr = N;
Nt = round(pi*N);
Np = round(2*pi*N);

rs = linspace(R0, Rf, Nr);
ts = linspace(0, pi, Nt);
ps = linspace(0, 2*pi, Np);

dr = rs(2)-rs(1);
dt = ts(2)-ts(1);
dp = ps(2)-ps(1);

C = 1/((4/3)*pi);
fint = 0.0;
for ir = 2:Nr
  r = rs(ir);
  r2dr = r*r*dr;
  for it = 1:Nt-1
    t = ts(it);
    sintdt = sin(t)*dt;
    for ip = 1:Np-1
      p = ps(ip);
      fint = fint + C*r2dr*sintdt*dp;
    end
  end
end

end

对于相关的int3d_par(parfor)版本，我打开了一个matlab池，只是将for替换为parfor。当我在更多内核上运行时，我得到了相当不错的加速(我的测试是从2到8个内核)。

但是，当我在批处理模式下使用以下命令运行相同的集成时:

function [fint] = int3d_batch_cluster(R0, Rf, N, cluster, ncores)

%%% note: This will not give back the same value as the serial or parpool version.
%%%       If this was a legit integration, I would worry more about even dispersion
%%%       of integration nodes per core, but I just want to benchmark right now so ... meh

Nr = N;
Nt = round(pi*N);
Np = round(2*pi*N);

rs = linspace(R0, Rf, Nr);
ts = linspace(0, pi, Nt);
ps = linspace(0, 2*pi, Np);

dr = rs(2)-rs(1);
dt = ts(2)-ts(1);
dp = ps(2)-ps(1);

C = 1/((4/3)*pi);

rns = floor( Nr/ncores )*ones(ncores,1);
RNS = zeros(ncores,1);
for icore = 1:ncores
  if(sum(rns) ~= Nr)
    rns(icore) = rns(icore)+1;
  end
end
RNS(1) = rns(1);
for icore = 2:ncores
  RNS(icore) = RNS(icore-1)+rns(icore);
end

rfs = rs(RNS);
r0s = zeros(ncores,1);
r0s(2:end) = rfs(1:end-1);

j = createJob(cluster);

for icore = 1:ncores
  r0 = r0s(icore);
  rf = rfs(icore);
  rn = rns(icore);
  trs = linspace(r0, rf, rn);
  t{icore} = createTask(j, @int3d_ser, 1, {r0, rf, rn});
end

submit(j);
wait(j);
fints = fetchOutputs(j);

fint = 0.0;
for ifint = 1:length(fints)
  fint = fint + fints{ifint};
end

end

我注意到它快得多了。为什么在批处理模式下进行此集成与在parfor中进行集成有何不同？

作为引用，我使用N从较小的数字(如10和20(以获取运行时的多项式近似值中的常数))到较大的数字(如1000和2000)测试代码。该算法将按三次缩放，因为我在中分配了积分节点的数量。 theta和phi方向是给定N的常数倍。

对于2000个节点，parfor版本大约需要630秒，而批处理模式下相同数量的节点大约需要19秒(其中大约12秒只是开销通信，对于10个集成节点也是如此)。

最佳答案

在获得Mathworks支持后，看来我对parfor的工作原理有一个基本的误解。我的印象是，就共享内存与分布式内存而言，parfor的行为类似于openMP，而批处理模式的行为则类似于mpi。

事实证明parfor实际上也使用了分布式内存。例如，当我创建4个批处理函数时，创建新流程的开销发生了4次。我以为使用parfor将导致开销仅发生1次，然后parfor将在相同的内存空间中发生。不是这种情况。

在我的示例代码中，事实证明，对于parfor的每次迭代，实际上都会产生创建新线程的开销。当比较“苹果与苹果”时，我实际上应该创建的批处理调用次数与parfor循环中的迭代次数相同。这就是parfor函数花费更长的时间的原因-我在多处理上花费了更多的开销。