我正在尝试使用scikit-learn对文本文档进行聚类。总的来说,我找到了解决之道,但是我在特定问题上有问题。我发现的大多数示例都说明了使用scikit-learn和k-means作为聚类算法的聚类。原则上,将这些带有k均值的示例用于我的设置。但是,k-means不适合,因为我不知道簇的数量。从到目前为止的内容看-如果需要,请在此处更正-DBSCAN或MeanShift在我看来更合适。 scikit-learn网站提供了每种聚类算法的示例。现在的问题是,无论是使用DBSCAN还是MeanShift,我都会遇到我无法理解的错误,更不用说解决了。

我的最小代码如下:

docs = []
for item in [database]:
    docs.append(item)

vectorizer = TfidfVectorizer(min_df=1)
X = vectorizer.fit_transform(docs)

X = X.todense() # <-- This line was needed to resolve the isse

db = DBSCAN(eps=0.3, min_samples=10).fit(X)
...

(我的文档已经处理过,也就是说,停用词已被删除,Porter Stemmer已应用。)

当我运行此代码时,在初始化DBSCAN并调用fit()时收到以下错误:
...
File "/usr/local/lib/python2.7/dist-packages/sklearn/cluster/dbscan_.py", line 248, in fit
clust = dbscan(X, **self.get_params())
File "/usr/local/lib/python2.7/dist-packages/sklearn/cluster/dbscan_.py", line 86, in dbscan
n = X.shape[0]
IndexError: tuple index out of range

单击dbscan_.py中引发错误的行,我注意到以下行
...
X = np.asarray(X)
n = X.shape[0]
...

当我使用这些代码直接在我的代码中进行测试时,会遇到相同的错误。我真的不知道np.asarray(X)在做什么,但是在命令X.shape = ()之后。因此,X.shape[0]炸弹-以前,X.shape[0]正确地指代文档数量。出于好奇,我从X = np.asarray(X)中删除了dbscan_.py。当我这样做时,某些东西正在大量计算。但是几秒钟后,我又得到了一个错误:
...
File "/usr/lib/python2.7/dist-packages/scipy/sparse/csr.py", line 214, in extractor
(min_indx,max_indx) = check_bounds(indices,N)
File "/usr/lib/python2.7/dist-packages/scipy/sparse/csr.py", line 198, in check_bounds
max_indx = indices.max()
File "/usr/lib/python2.7/dist-packages/numpy/core/_methods.py", line 17, in _amax
out=out, keepdims=keepdims)
ValueError: zero-size array to reduction operation maximum which has no identity

简而言之,我不知道如何使DBSCAN正常工作,或者我通常可能错过的东西。

最佳答案

sklearn中的实现似乎假定您正在处理一个有限的 vector 空间,并且想要找到数据集的维数。文本数据通常表示为稀疏 vector ,但现在具有相同的维数。

您的输入数据可能不是数据矩阵,但是sklearn实现需要它们是一个。

您需要找到其他实现。也许尝试ELKI中的实现,这是非常快的,并且不应有此限制。

您需要花一些时间首先了解相似性。对于DBSCAN,您必须选择对数据有意义的epsilon。没有经验法则。这是特定于域的。因此,您首先需要确定哪个相似性阈值意味着两个文档相似。

Mean Shift实际上可能需要您的数据为固定维数的 vector 空间。

关于machine-learning - scikit-learn:使用DBSCAN集群文本文档,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/25217065/

10-12 23:05