我正在尝试使用ExecutorService及其功能invokeAll用Java编写程序。我的问题是:invokeAll函数可以同时解决任务吗?我的意思是,如果我有两个处理器,那么会同时有两个工人吗?因为aI无法使其正确缩放。如果输入newFixedThreadPool(2)或1,则需要花费相同的时间来解决问题。

List<Future<PartialSolution>> list = new ArrayList<Future<PartialSolution>>();
Collection<Callable<PartialSolution>> tasks = new ArrayList<Callable<PartialSolution>>();
for(PartialSolution ps : wp)
{
    tasks.add(new Map(ps, keyWords));
}
list = executor.invokeAll(tasks);


Map是实现Callable的类,而wp是Partial Solutions的向量,Partial Solutions是在不同时间保存某些信息的类。

为什么不缩放?可能是什么问题呢?

这是PartialSolution的代码:

import java.util.HashMap;
import java.util.Vector;

public class PartialSolution
{
    public String fileName;//the name of a file
    public int b, e;//the index of begin and end of the fragment from the file
    public String info;//the fragment
    public HashMap<String, Word> hm;//here i retain the informations
    public HashMap<String, Vector<Word>> hmt;//this i use for the final reduce

    public PartialSolution(String name, int b, int e, String i, boolean ok)
    {
        this.fileName = name;
        this.b = b;
        this.e = e;
        this.info = i;
        hm = new HashMap<String, Word>();
        if(ok == true)
        {
            hmt = new HashMap<String, Vector<Word>>();
        }
        else
        {
             hmt = null;
        }
    }
}


这是Map的代码:

public class Map implements Callable<PartialSolution>
{
    private PartialSolution ps;
    private Vector<String> keyWords;

    public Map(PartialSolution p, Vector<String> kw)
    {
        this.ps = p;
        this.keyWords = kw;
    }

    @Override
    public PartialSolution call() throws Exception
    {
        String[] st = this.ps.info.split("\\n");
        for(int j = 0 ; j < st.length ; j++)
        {
            for(int i = 0 ; i < keyWords.size() ; i++)
            {
                if(keyWords.elementAt(i).charAt(0) != '\'')
                {
                    int k = 0;
                    int index = 0;
                    int count = 0;

                    while((index = st[j].indexOf(keyWords.elementAt(i), k)) != -1)
                    {
                        k = index + keyWords.elementAt(i).length();
                        count++;
                    }
                    if(count != 0)
                    {
                        Word wr = this.ps.hm.get(keyWords.elementAt(i));
                        if(wr != null)
                        {
                            Word nw = new Word(ps.fileName);
                            nw.nrap = wr.nrap + count;
                            nw.lines = wr.lines;
                            int grep = count;
                            while(grep > 0)
                            {
                                nw.lines.addElement(ps.b + j);
                                grep--;
                            }
                            this.ps.hm.put(keyWords.elementAt(i), nw);
                        }
                        else
                        {
                            Word nw = new Word(ps.fileName);
                            nw.nrap = count;
                            int grep = count;
                            while(grep > 0)
                            {
                                nw.lines.addElement(ps.b + j);
                                grep--;
                            }
                            this.ps.hm.put(keyWords.elementAt(i), nw);
                        }
                    }
                }
                else
                {
                    String regex = keyWords.elementAt(i).substring(1, keyWords.elementAt(i).length() - 1);
                    StringBuffer sb = new StringBuffer(regex);
                    regex = sb.toString();
                    Pattern pt = Pattern.compile(regex);
                    Matcher m = pt.matcher(st[j]);
                    int count = 0;
                    while(m.find())
                    {
                        count++;
                    }
                    if(count != 0)
                    {
                        Word wr = this.ps.hm.get(keyWords.elementAt(i));
                        if(wr != null)
                        {
                            Word nw = new Word(this.ps.fileName);
                            nw.nrap = wr.nrap + count;
                            nw.lines = wr.lines;
                            int grep = count;
                            while(grep > 0)
                            {
                                nw.lines.addElement(ps.b + j);
                                grep--;
                            }
                            this.ps.hm.put(keyWords.elementAt(i), nw);
                        }
                        else
                        {
                            Word nw = new Word(this.ps.fileName);
                            nw.nrap = count;
                            int grep = count;
                            while(grep > 0)
                            {
                                nw.lines.addElement(ps.b + j);
                                grep--;
                            }
                            this.ps.hm.put(keyWords.elementAt(i), nw);
                        }
                    }
                }
            }
        }
        this.ps.info = null;
        return this.ps;
    }
}


因此,在Map中,我从片段中提取每一行,并搜索每个表达式的出现次数,然后保存行数。在处理完所有片段之后,在同一PartialSolution中,我将信息保存在哈希图中,并返回新的PartialSolution。在下一步中,我将PartialSolutions与相同的fileName合并,并将它们引入与地图相同的Callable类Reduce中,不同之处在于它进行了其他操作,但还返回了PartialSolution。

这是运行Map任务的代码:

List<Future<PartialSolution>> list = new ArrayList<Future<PartialSolution>>();
Collection<Callable<PartialSolution>> tasks = new ArrayList<Callable<PartialSolution>>();
for(PartialSolution ps : wp)
{
   tasks.add(new Map(ps, keyWords));
}
list = executor.invokeAll(tasks);


在任务中,我创建Map类型的任务,并在列表中获得它们。我不知道如何读取JVM线程转储。我希望我给您的信息足够好。如果有帮助,我可以在NetBeans 7.0.1中工作。

谢谢,
亚历克斯

最佳答案

我想知道的是,如果我用10个线程创建了ExcutorService方法,那么invokeAll方法将同时解决10个任务还是一次解决一个任务?


如果您通过十个线程向ExecutorService提交十个任务,它将同时运行所有任务。他们是否可以完全平行且彼此独立进行取决于他们在做什么。但是它们每个都有自己的线程。


  还有另一个问题,如果我说list.get(i).get(),这将在解决后返回PartialSolution?


是的,它将阻塞直到计算完成(如果尚未完成)并返回其结果。


  我真的不明白,如果我使用2个线程而不是1个线程,那么时间却没有增加?


我们需要查看更多代码。它们是否在某些共享数据上同步?这些任务需要多长时间?如果它们很短,您可能不会注意到任何区别。如果花费的时间更长,请查看JVM线程转储以验证所有这些线程都在运行。

07-26 09:27