我正在为NMF文本数据集群实现一个Python脚本在我的工作中,我使用Scikit NMF实现,但是据我所知,在Scikit NMF中更像是分类方法,而不是聚类方法。
我开发了一个简单的脚本来处理一些示例arcticles。我正在对它们进行预处理,并将其作为nmf的输入。根据我教授分享的论文,我收到了一些集群,但是我不知道如何可视化/呈现它们。
你们中有谁知道如何使这个人类友好地阅读:)
主脚本代码如下:

from sklearn.feature_extraction.text import TfidfVectorizer, CountVectorizer
from sklearn.cluster import KMeans
from sklearn.preprocessing import normalize
from sklearn.decomposition import LatentDirichletAllocation, NMF
from sklearn.preprocessing import normalize
import pandas as pd
from preprocess import *


# loading data
raw_text_data = loading_bbc_datasets(5)

text_data = text_preparing(raw_text_data)
tf_vectorizer = TfidfVectorizer()
Y = tf_vectorizer.fit_transform(text_data)
Y_norm = normalize(Y)

nmf = NMF(n_components=5, random_state=1, alpha=.1, l1_ratio=0.5)
A = nmf.fit_transform(Y_norm)
X = nmf.components_
features = tf_vectorizer.get_feature_names()
print(features)

AF = pd.DataFrame(Y_norm.toarray())
WF = pd.DataFrame(A)
HF = pd.DataFrame(X)

AF.to_csv('Y.csv', sep=',', header=features)
WF.to_csv('A.csv', sep=',', header=['C1', 'C2', 'C3', 'C4', 'C5'])
HF.to_csv('X.csv', sep=',', header=features)

最佳答案

nmf不是一种分类方法,而是一种降维方法。当您使用CountVectorizer处理文本时,您有大量的维度,nmf允许减少这些维度。
NMF通过W*H近似文档*矩阵X。
新维度可以看作是主题,因此对于给定的文档,您可以在w中看到文档属于哪些主题最多,因为这些值是非负的(如果值较高,则文档与主题高度相关)。
类似地,对于给定的主题,可以使用H获取与之高度相关的单词。
要回答您的问题,您可以将文档聚集成主题,并通过给出最相关的单词以人性化的方式表示每个主题。

10-06 06:30