python - FreqDist用于最常用的单词或短语

我正在尝试分析应用评论中的一些数据。

我想使用nltk的FreqDist来查看文件中最频繁出现的短语。它可以是单个令牌或关键短语。
我不想标记数据，因为那样只会给我最频繁的标记。但是现在，FreqDist函数将每个评论作为一个字符串处理，而不是提取每个评论中的单词。

df = pd.read_csv('Positive.csv')

def pre_process(text):
    translator = str.maketrans("", "", string.punctuation)
    text = text.lower().strip().replace("\n", " ").replace("’", "").translate(translator)
    return text

df['Description'] = df['Description'].map(pre_process)
df = df[df['Description'] != '']

word_dist = nltk.FreqDist(df['Description'])

（“说明”是评论的正文/消息。）

例如，我想得到类似
最常用的字词：
“我喜欢”，“有用”，“非常好的应用”
但是相反，我越来越
最常用的字词：
“我真的很喜欢这个应用程序，因为babblabla”（整个评论）

这就是为什么当我绘制FreqDist时得到以下信息：

最佳答案

TL; DR

使用ngrams或everygrams：

>>> from itertools import chain
>>> import pandas as pd
>>> from nltk import word_tokenize
>>> from nltk import FreqDist

>>> df = pd.read_csv('x')
>>> df['Description']
0            Here is a sentence.
1    This is a foo bar sentence.
Name: Description, dtype: object

>>> df['Description'].map(word_tokenize)
0              [Here, is, a, sentence, .]
1    [This, is, a, foo, bar, sentence, .]
Name: Description, dtype: object

>>> sents = df['Description'].map(word_tokenize).tolist()

>>> FreqDist(list(chain(*[everygrams(sent, 1, 3) for sent in sents])))
FreqDist({('sentence',): 2, ('is', 'a'): 2, ('sentence', '.'): 2, ('is',): 2, ('.',): 2, ('a',): 2, ('Here', 'is', 'a'): 1, ('a', 'foo'): 1, ('a', 'sentence'): 1, ('bar', 'sentence', '.'): 1, ...})

关于python - FreqDist用于最常用的单词或短语，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/56280140/