python - 间歇性 "getrandom() initialization failed"使用刮板蜘蛛

我建立了一个沙哑的蜘蛛( Scrapy 的1.4)。蜘蛛是通过django-rq从django网站按需触发的，并且是受监管的。

这是正在监听django-rq事件的受监管作业(reddit用作代理)

[program:rq_worker]
command=python3 manage.py rqworker default
directory=/var/www/django-app
autostart=true
autorestart=true
stderr_logfile=/var/log/rq_worker.err.log
stdout_logfile=/var/log/rq_worker.out.log

此设置运行良好。
但是，有时(我无法按需重现该问题)，所有蜘蛛都会引发相同的OpenSSL错误:

2018-02-11 11:02:19 [scrapy.core.scraper] ERROR: Error downloading <GET https://whateverwebsite.com>
Traceback (most recent call last):
  File "/usr/local/lib/python3.5/dist-packages/twisted/internet/defer.py", line 1299, in _inlineCallbacks
    result = result.throwExceptionIntoGenerator(g)
  File "/usr/local/lib/python3.5/dist-packages/twisted/python/failure.py", line 393, in throwExceptionIntoGenerator
    return g.throw(self.type, self.value, self.tb)
  File "/usr/local/lib/python3.5/dist-packages/scrapy/core/downloader/middleware.py", line 43, in process_request
    defer.returnValue((yield download_func(request=request,spider=spider)))
twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure OpenSSL.SSL.Error: [('', 'osrandom_rand_bytes', 'getrandom() initialization failed.')]>]

重新启动主管使问题消失了。

为了确保我的网站及其蜘蛛程序正常运行，我必须在每次重新启动supervisord时进行测试，以确保没有问题。没什么大不了的，但还是...

我想了解那里出了什么问题？
如何解决此问题？与主管相关吗？扭曲相关吗？ openSSL相关吗？

感谢您的帮助

最佳答案

我有类似的错误，但使用python-requests库:

Error([('', 'osrandom_rand_bytes', 'getrandom() initialization failed.')],)

这是由于随机数生成器未能及时收集足够的熵而引起的。我已经安装了rng-tools，它解决了问题。

关于python - 间歇性 "getrandom() initialization failed"使用刮板蜘蛛，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/48843728/