c# - Task.WaitSubset/Task.WaitN？

有等待所有任务的Task.WaitAll方法和等待一项任务的Task.WaitAny方法。如何等待N个任务？

用例:下载搜索结果页面，每个结果需要单独的任务来下载和处理。如果在进入下一个搜索结果页面之前，我使用WaitAll等待子任务的结果，则我不会使用所有可用资源(一个漫长的任务会延迟其余的任务)。根本不等待可能导致数千个任务排队，这也不是最好的主意。

那么，如何等待任务的子集完成？或者，如何等待任务计划程序队列中只有N个任务？

最佳答案

对于TPL Dataflow来说，这似乎是一个极好的问题，它将允许您控制并行性和缓冲以最大速度处理。

这是一些(未经测试的)代码，向您展示我的意思:

static void Process()
{
    var searchReader =
        new TransformManyBlock<SearchResult, SearchResult>(async uri =>
    {
        // return a list of search results at uri.

        return new[]
        {
            new SearchResult
            {
                IsResult = true,
                Uri = "http://foo.com"
            },
            new SearchResult
            {
                // return the next search result page here.
                IsResult = false,
                Uri = "http://google.com/next"
            }
        };
    }, new ExecutionDataflowBlockOptions
    {
        BoundedCapacity = 8, // restrict buffer size.
        MaxDegreeOfParallelism = 4 // control parallelism.
    });

    // link "next" pages back to the searchReader.
    searchReader.LinkTo(searchReader, x => !x.IsResult);

    var resultActor = new ActionBlock<SearchResult>(async uri =>
    {
        // do something with the search result.
    }, new ExecutionDataflowBlockOptions
    {
        BoundedCapacity = 64,
        MaxDegreeOfParallelism = 16
    });

    // link search results into resultActor.
    searchReader.LinkTo(resultActor, x => x.IsResult);

    // put in the first piece of input.
    searchReader.Post(new SearchResult { Uri = "http://google/first" });
}

struct SearchResult
{
    public bool IsResult { get; set; }
    public string Uri { get; set; }
}