我想做的是在sklearn中使用hashingVectorizer和tfidfTransformer逐步学习垃圾邮件过滤器。
这是我的代码-

for i in range(0,sz-1):

    messages_bow = HashingVectorizer(analyzer=split_into_lemmas,non_negative=True,n_features=3000).transform(final[i]['message'])
    if i==0:
        temparr=messages_bow
    else:
        temparr.append(messages_bow)
    tfidf_transformer = TfidfTransformer().fit(temparr)
    messages_tfidf = tfidf_transformer.transform(messages_bow)
    spam_detector=MB.partial_fit(messages_tfidf,final[i]['label'],classes=['ham','spam'])

    messages_bow = HashingVectorizer(analyzer=split_into_lemmas,non_negative=True,n_features=3000).transform(final[i+1]['message'])
    #tfidf_transformer = TfidfTransformer().fit(messages_bow)
    messages_tfidf = tfidf_transformer.transform(messages_bow)
    predictions=spam_detector.predict(messages_tfidf)
    L=list(np.array(predictions))
    perf_measure(list(np.array(final[i+1]['label'])),L)
    val=val+accuracy_score(final[i+1]['label'],predictions)


final [i] ['message']包含100条消息。我想将hashingVectorizer的结果附加到先前的结果中,以便我可以在tfidfTransformer中使用它,因为hashingVectorizer是无状态的,而tfidfTransformer是有状态的。
但是我正在跟随错误-

 temparr.append(messages_bow)
 File "/home/aditya/anaconda2/lib/python2.7/site-packages/scipy/sparse/base.py", line 525, in __getattr__
raise AttributeError(attr + " not found")
AttributeError: append not found


我该怎么办??

最佳答案

由于scikit learn HashingVectorizer返回一个稀疏矩阵,因此您需要使用scipy.sparse.vstack,它看起来像这样:

temparr = vstack(temparr,essages_bow)

10-08 08:57