Matlab Parfor 循环不起作用

我正在使用 fminsearch 将模型拟合到多个数据集，并且我正在尝试并行执行它们。我的代码一直运行到 parfor 循环的开始，但是 parfor 循环似乎永远需要 才能开始! (parfor 中的第一行不执行)。没有错误，matlab 只是保持“忙碌”。

我在具有 4 个内核的本地集群上运行，从 matlabpool 4 开始，它似乎启动良好。我在 Ubuntu 14.04.3 上运行 Matlab R2014b 64 位，八核 i7-3770K @ 3.50GHz，24GiB RAM(当然大多数都没有使用)。

编辑

这是重现问题的代码!

文件 matlab_parfor_test_2

function f=matlab_parfor_test_2
f={};
for i=1:400
  a=@(p)i*p;             % make some functions depending on i
  b=@(p)a(p)+0;          % a function depending on this
  f=[f { @(p)b(p) }];    % create a list of i functions using this
end

文件 matlab_parfor_test_1

function matlab_parfor_test_1
f=matlab_parfor_test_2(); % create the functions
f=f(1:2);       % discard all but two functions
for i=1:2       % for each function                ('A')
  parfor j=1    % dummy parfor
    tmp=f{i}; % just read a function from the cell ('B')
  end
end

在我的机器上从 'A' 到第一个 'B' 所需的时间(即“输入” parfor 所需的时间)是

returning 400 functions: 20 sec
          500 functions: 32 sec
          600 functions: 45 sec
          700 functions: 64 sec

这很奇怪，因为在 test_1 中，除了 2 个函数之外，我丢弃了所有函数!为什么丢弃的函数会导致速度变慢？

我想也许 matlab 实际上并没有删除 f 中不需要的函数。所以我尝试用 f=f(1:2) 替换

f={f{1}, f{2}};

但这也无济于事。

如果我用 parfor 替换 for ，那么当然执行时间不到 1ms。

有任何想法吗？？

问题的旧版本

function fit_all
  models = createModelFunctions();  % creates cell of function handles
  data   = { [1 2 3], [1 2 3] };    % create 2 data sets
  for i = 1:length(models)
    fprintf('model %g\n',i);
    parfor j = 1:length(data)
      fprintf('data %g\n',j);
      tmp = models{i};  % if I comment this line out, it runs fine!
      % p(j) = fminsearch(@(p)models{j}(p,data{j}), [0 0]);
    end
  end

模型函数在另一个文件中创建，

function models = createModelFunctions()
  models{1} = @(p,d) likelihoodfun(0,0,p,d);
  models{2} = @(p,d) likelihoodfun(1,0,p,d);

function L = likelihoodfun(a,b,p,d)
  L = some maths here;

运行 fit_all ，我希望看到 model 1 、 data 1 、 data 2 、 model 2 等的列表。我得到的输出是

model 1

然后事情就停止了:没有提示，matlab 说“忙”，UI 和操作系统像往常一样响应。系统监视器显示只有 1 个内核处于事件状态。它永远不会进入 parfor 。
如果我此时按下 ctrl+C，在 3 分钟的延迟后，我会得到

Operation terminated by user during parallel.internal.pool.serialize (line 21)
In distcomp.remoteparfor (line 69)
                serializedInitData = parallel.internal.pool.serialize(varargin);
In parallel_function>iMakeRemoteParfor (line 1060)
P = distcomp.remoteparfor(pool, W, @make_channel, parfor_C);
In parallel_function (line 444)
        [P, W] = iMakeRemoteParfor(pool, W, parfor_C);

如果我注释掉指示的行，它就可以工作——所以问题似乎是当我访问模型函数时......同样，如果我将模型更改为

 models={@sum,@sum}

即它只是当我使用另一个文件中的函数句柄时......

最佳答案

当我在我的机器上运行您的代码时，它运行良好。在我的 Windows 和 Linux 上。但是，第一次运行总是需要更长的时间，因为您必须打开一个并行池，这是您指的吗？如果是这样，这是正常和预期的行为。

仅供引用，您应该使用 parpool 而不是 matlabpool。也许滞后的 matlabpool 代码在创建池时遇到了问题？另外，请确保它不会每次都关闭您的并行池。

如果这些都不起作用，请在其他人的计算机上尝试该代码，看看是否可以重现该问题。

关于Matlab Parfor 循环不起作用，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/33851270/