flask - Python:Flask上不稳定的joblib行为

我正在尝试使用Flask在AWS EC2实例上部署机器学习模型。这些是sklearn拟合的随机森林模型，这些模型使用joblib进行腌制。当我在本地主机上托管Flask并将它们加载到内存中时，一切都会顺利运行。但是，当我使用mod_wsgi将其部署在apache2服务器上时，joblib有时会工作（即有时使用joblib加载模型），而其他时候服务器只会挂起。日志中没有错误。任何想法，将不胜感激。

这是我正在使用的相关代码：

# In[49]:


from flask import Flask, jsonify, request, render_template
from datetime import datetime
from sklearn.externals import joblib
import pickle as pkl
import os


# In[50]:


app = Flask(__name__, template_folder="/home/ubuntu/flaskapp/")


# In[51]:
log = lambda msg: app.logger.info(msg, extra={'worker_id': "request.uuid" })

# Logger
import logging
handler = logging.FileHandler('/home/ubuntu/app.log')
handler.setLevel(logging.ERROR)
app.logger.addHandler(handler)


# In[52]:


@app.route('/')
def host_template():
    return render_template('Static_GUI.html')


# In[53]:


def load_models(path):
    model_arr = [0]*len(os.listdir(path))
    for filename in os.listdir(path):
        f = open(path+"/"+filename, 'rb')
        model_arr[int(filename[2:])] = joblib.load(f)
        print("Classifier ", filename[2:], " added.")
        f.close()
    return model_arr


# In[54]:


partition_limit = 30


# In[55]:

print("Dictionaries being loaded.")
dict_file_path = "/home/ubuntu/Dictionaries/VARR"
dictionaries = pkl.load(open(dict_file_path, "rb"))
print("Dictionaries Loaded.")


# In[56]:

print("Begin loading classifiers.")
model_path = "/home/ubuntu/RF_Models/"
classifier_arr = load_models(model_path)
print("Classifiers Loaded.")


if __name__ == '__main__':
    log("/home/ubuntu/print.log")
    print("Starting API")
    app.run(debug=True)

最佳答案

我坚持了一段时间。如果有人遇到此问题，请发布答案。使用打印语句并查看日志，我将问题缩小为joblib.load语句。我发现了一个很棒的博客：http://blog.rtwilson.com/how-to-fix-flask-wsgi-webapp-hanging-when-importing-a-module-such-as-numpy-or-matplotlib

使用全局流程组的想法解决了这个问题。正如该博客页面上的最高评论所提到的那样，这迫使使用主解释器。