python - 语料库中的Pyspark CountVectorizer和词频

我目前正在研究文本语料库。假设我清理了我的冗长词，并且有以下pyspark DataFrame:

df = spark.createDataFrame([(0, ["a", "b", "c"]),
                            (1, ["a", "b", "b", "c", "a"])],
                            ["label", "raw"])
df.show()

+-----+---------------+
|label|            raw|
+-----+---------------+
|    0|      [a, b, c]|
|    1|[a, b, b, c, a]|
+-----+---------------+

我现在想实现一个CountVectorizer。因此，我使用了pyspark.ml.feature.CountVectorizer，如下所示:

cv = CountVectorizer(inputCol="raw", outputCol="vectors")
model = cv.fit(df)
model.transform(df).show(truncate=False)

+-----+---------------+-------------------------+
|label|raw            |vectors                  |
+-----+---------------+-------------------------+
|0    |[a, b, c]      |(3,[0,1,2],[1.0,1.0,1.0])|
|1    |[a, b, b, c, a]|(3,[0,1,2],[2.0,2.0,1.0])|
+-----+---------------+-------------------------+

现在，我还想获得CountVectorizer选择的词汇表以及语料库中的相应单词频率。使用cvmodel.vocabulary仅提供词汇表:

voc = cvmodel.vocabulary
voc
[u'b', u'a', u'c']

我想得到这样的东西:

voc = {u'a':3,u'b':3,u'c':2}

你有什么想法做这样的事情吗？

编辑:
我正在使用Spark 2.1

最佳答案

调用cv.fit()返回一个CountVectorizerModel，它(AFAIK)存储该词汇表，但不存储计数。词汇表是模型的属性(它需要知道要计数的单词)，但是计数是DataFrame的属性(不是模型)。您可以应用拟合模型的变换功能来获取任何DataFrame的计数。

话虽如此，这是获得所需输出的两种方法。

1.使用现有的计数矢量化器模型

您可以使用 pyspark.sql.functions.explode() 和 pyspark.sql.functions.collect_list() 将整个语料库收集到一行中。出于说明目的，让我们考虑一个新的DataFrame df2，其中包含一些不适合CountVectorizer看不见的单词:

import pyspark.sql.functions as f

df2 = sqlCtx.createDataFrame([(0, ["a", "b", "c", "x", "y"]),
                            (1, ["a", "b", "b", "c", "a"])],
                            ["label", "raw"])

combined_df = (
    df2.select(f.explode('raw').alias('col'))
      .select(f.collect_list('col').alias('raw'))
)
combined_df.show(truncate=False)
#+------------------------------+
#|raw                           |
#+------------------------------+
#|[a, b, c, x, y, a, b, b, c, a]|
#+------------------------------+

然后使用拟合的模型将其转换为计数并收集结果:

counts = model.transform(combined_df).select('vectors').collect()
print(counts)
#[Row(vectors=SparseVector(3, {0: 3.0, 1: 3.0, 2: 2.0}))]

接下来zip将计数和词汇一起使用，并使用dict构造函数获取所需的输出:

print(dict(zip(model.vocabulary, counts[0]['vectors'].values)))
#{u'a': 3.0, u'b': 3.0, u'c': 2.0}

正如您正确指出in the comments一样，这只会考虑CountVectorizerModel词汇表中的单词。其他任何单词都将被忽略。因此，我们看不到"x"或"y"的任何条目。

2.使用DataFrame聚合函数

或者，您可以跳过CountVectorizer并使用groupBy()获取输出。这是一个更通用的解决方案，因为它将提供DataFrame中所有单词的计数，而不仅仅是词汇中的计数:

counts = df2.select(f.explode('raw').alias('col')).groupBy('col').count().collect()
print(counts)
#[Row(col=u'x', count=1), Row(col=u'y', count=1), Row(col=u'c', count=2),
# Row(col=u'b', count=3), Row(col=u'a', count=3)]

现在，只需使用dict理解即可:

print({row['col']: row['count'] for row in counts})
#{u'a': 3, u'b': 3, u'c': 2, u'x': 1, u'y': 1}

在这里，我们还有"x"和"y"的计数。

关于python - 语料库中的Pyspark CountVectorizer和词频，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/50255356/

countVectorizer

python - 语料库中的Pyspark CountVectorizer和词频