ruby - 添加图像以在队列中提取然后抓取它们

我对ruby mutli线程还很陌生，并且对如何入门感到困惑。我当前正在构建一个应用程序，它需要获取很多图像，因此我想在其他线程中执行该操作。我希望程序按照下面的代码所示执行。

问题:我在这里看到的问题是，bar_method将更快地完成获取并且线程将结束，因此事情将继续添加到队列中，但不会被处理。是否有任何同步方式可能会警告bar_method线程新项目已添加到队列中，并且如果bar_method确实较早完成，它应该进入休眠状态并等待将新项目添加到队列中？

def foo_method
  queue created - consists of url to fetch and a callback method
  synch = Mutex.new
  Thread.new do
    bar_method synch, queue
  end
  100000.times do
    synch.synchronize do
      queue << {url => img_url, method_callback => the_callback}
    end
  end
end
def bar_method synch_obj, queue
  synch_obj.synchronize do
    while queue isn't empty
        pop the queue. fetch image and call the callback
    end
  end
end

最佳答案

如果您需要从Internet检索文件并使用并行请求，我强烈建议Typhoeus and Hydra。

从文档中:

hydra = Typhoeus::Hydra.new
10.times.map{ hydra.queue(Typhoeus::Request.new("www.example.com", followlocation: true)) }
hydra.run

您可以在Hydra中设置并发连接数:



作为第二个建议，请查看Curb。再次，从其文档中:

# make multiple GET requests
easy_options = {:follow_location => true}
multi_options = {:pipeline => true}

Curl::Multi.get('url1','url2','url3','url4','url5', easy_options, multi_options) do|easy|
  # do something interesting with the easy response
  puts easy.last_effective_url
end

两者都是基于Curl构建的，因此它们的基础技术或其健壮性没有真正的区别。不同之处在于您可以使用的命令。

另一个备受关注的瑰宝是EventMachine。它具有EM-HTTP-Request，它允许并发请求:

EventMachine.run {
  http1 = EventMachine::HttpRequest.new('http://google.com/').get
  http2 = EventMachine::HttpRequest.new('http://yahoo.com/').get

  http1.callback { }
  http2.callback { }
end