c# - 具有创建FTP请求的多个线程的ThreadPool超时

我正在尝试创建FTP Web请求的集合以下载文件集合。

可以在单个线程中正确地执行此操作，但是现在正在尝试使用多个线程，但是却遇到了超时异常。我想我缺少了一些非常简单的东西，但似乎无法解决

这是代码:

internal static void DownloadLogFiles(IEnumerable<string> ftpFileNames, string localLogsFolder)
{
    BotFinder.DeleteAllFilesFromDirectory(localLogsFolder);

    var ftpWebRequests = new Collection<FtpWebRequest>();

    // Create web request for each log filename
    foreach (var ftpWebRequest in ftpFileNames.Select(filename => (FtpWebRequest) WebRequest.Create(filename)))
    {
        ftpWebRequest.Credentials = new NetworkCredential(BotFinderSettings.FtpUserId, BotFinderSettings.FtpPassword);
        ftpWebRequest.KeepAlive = false;
        ftpWebRequest.UseBinary = true;
        ftpWebRequest.CachePolicy = NoCachePolicy;
        ftpWebRequest.Method = WebRequestMethods.Ftp.DownloadFile;
        ftpWebRequests.Add(ftpWebRequest);
    }

    var threadDoneEvents = new ManualResetEvent[ftpWebRequests.Count];

    for (var x = 0; x < ftpWebRequests.Count; x++)
    {
        var ftpWebRequest = ftpWebRequests[x];
        threadDoneEvents[x] = new ManualResetEvent(false);
        var threadedFtpDownloader = new ThreadedFtpDownloader(ftpWebRequest, threadDoneEvents[x]);
        ThreadPool.QueueUserWorkItem(threadedFtpDownloader.PerformFtpRequest, localLogsFolder);
    }

    WaitHandle.WaitAll(threadDoneEvents);
}

class ThreadedFtpDownloader
{
    private ManualResetEvent threadDoneEvent;
    private readonly FtpWebRequest ftpWebRequest;

    /// <summary>
    ///
    /// </summary>
    public ThreadedFtpDownloader(FtpWebRequest ftpWebRequest, ManualResetEvent threadDoneEvent)
    {
        this.threadDoneEvent = threadDoneEvent;
        this.ftpWebRequest = ftpWebRequest;
    }

    /// <summary>
    ///
    /// </summary>
    /// <param name="localLogsFolder">
    ///
    /// </param>
    internal void PerformFtpRequest(object localLogsFolder)
    {
        try
        {
            // TIMEOUT IS HAPPENING ON LINE BELOW
            using (var response = ftpWebRequest.GetResponse())
            {
                using (var responseStream = response.GetResponseStream())
                {
                    const int length = 1024*10;
                    var buffer = new Byte[length];
                    var bytesRead = responseStream.Read(buffer, 0, length);

                    var logFileToCreate = string.Format("{0}{1}{2}", localLogsFolder,
                                        ftpWebRequest.RequestUri.Segments[3].Replace("/", "-"),
                                        ftpWebRequest.RequestUri.Segments[4]);

                    using (var writeStream = new FileStream(logFileToCreate, FileMode.OpenOrCreate))
                    {
                        while (bytesRead > 0)
                        {
                            writeStream.Write(buffer, 0, bytesRead);
                            bytesRead = responseStream.Read(buffer, 0, length);
                        }
                    }
                }
            }

            threadDoneEvent.Set();
        }
        catch (Exception exception)
        {
            BotFinder.HandleExceptionAndExit(exception);
        }
    }
}

它似乎正在下载前两个文件(我假设使用两个线程)，但是当这些完成并且应用程序尝试移至下一个文件时，似乎会发生超时。

我可以确认超时的FTPWebRequest是有效的并且该文件存在，我想我可能有一个打开的连接或其他东西。

打算发表评论，但可能更容易阅读答案:

首先，如果将ftpRequest.Timout属性设置为Timeout.Infinite，则超时问题将消失，但是无限超时可能不是最佳实践。所以我更愿意以另一种方式解决这个问题...

调试代码，可以看到:

ThreadPool.QueueUserWorkItem(threadedFtpDownloader.PerformFtpRequest, localLogsFolder);

它为每个FTP Web请求进入PerformFtpRequest方法，并调用ftpWebRequest.GetResponse()，但是对于前两个请求仅继续进行。其余请求保持事件状态，但直到前两个完成后再继续进行。因此，这基本上意味着它们在开始之前等待其他请求完成时保持打开状态。

我认为该问题的解决方案要么是允许所有请求一次执行(ConnectionLimit属性在这里无效)，要么是阻止执行调用GetResponse，直到它准备好实际使用响应为止。

关于解决此问题的最佳方法有什么好主意？目前，我似乎只能想到的是hacky解决方案，我想避免:)

谢谢!

最佳答案

您应该获取请求的ServicePoint并设置ConnectionLimit

ServicePoint sp = ftpRequest.ServicePoint;
sp.ConnectionLimit = 10;

默认的ConnectionLimit为2-这就是为什么您看到这种行为的原因。

更新:请参阅以下答案以获得更详尽的解释:

How to improve the Performance of FtpWebRequest?

关于c# - 具有创建FTP请求的多个线程的ThreadPool超时，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/4424576/