我创建了一个 tf-idf 矩阵,但现在我想为每个文档检索前 2 个单词。我想传递文档 ID,它应该给我前 2 个词。
现在,我有这个示例数据:
from sklearn.feature_extraction.text import TfidfVectorizer
d = {'doc1':"this is the first document",'doc2':"it is a sunny day"} ### corpus
test_v = TfidfVectorizer(min_df=1) ### applied the model
t = test_v.fit_transform(d.values())
feature_names = test_v.get_feature_names() ### list of words/terms
>>> feature_names
['day', 'document', 'first', 'is', 'it', 'sunny', 'the', 'this']
>>> t.toarray()
array([[ 0. , 0.47107781, 0.47107781, 0.33517574, 0. ,
0. , 0.47107781, 0.47107781],
[ 0.53404633, 0. , 0. , 0.37997836, 0.53404633,
0.53404633, 0. , 0. ]])
我可以通过给出行号来访问矩阵,例如。
>>> t[0,1]
0.47107781233161794
有没有办法可以通过文档 ID 访问这个矩阵?就我而言,'doc1' 和 'doc2'。
谢谢
最佳答案
通过做
t = test_v.fit_transform(d.values())
您将丢失指向文档 ID 的任何链接。 dict 没有排序,因此您不知道按哪个顺序给出哪个值。这意味着在将值传递给 fit_transform 函数之前,您需要记录哪个值对应于哪个 id。
例如你可以做的是:
counter = 0
values = []
key = {}
for k,v in d.items():
values.append(v)
key[k] = counter
counter+=1
t = test_v.fit_transform(values)
从那里你可以构建一个函数来通过文档 ID 访问这个 matix:
def get_doc_row(docid):
rowid = key[docid]
row = t[rowid,:]
return row
关于python - 获取 scikit-learn tf-idf 矩阵中的文档名称,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/26304191/