我在文本数据上使用了tf-idf,但是无法删除少于3个字符的单词。我正在使用stop-words忽略一些单词,但是如何指定长度以限制少于3个字符的单词?

stopwords = ENGLISH_STOP_WORDS.union(['docx','45','ect', 'hou', 'com', 'recipient' , '030311' , '2011' , 'hrc' , 'qaddafi'])

vectsubject = TfidfVectorizer(analyzer='word', stop_words=stopwords, max_df=0.50, min_df=2)
X_SUBJECT = vectsubject.fit_transform(datasetemail.MetadataSubject)
features_subject = vectsubject.get_feature_names()

# Let's print the top 5 terms in body
dfbodyfeatures = gettop5(features_subject)
print(dfbodyfeatures)


我的结果是具有少于3个字符的功能。

0      aiding
1       syria
2      latest
3         sid
4    exchange


我想删除“ sid”之类的词并在结果中包括下一个功能,因此输出可能要包括“帮助”功能,这是下一个相关功能

0      aiding
1       syria
2      latest
3      exchange
4      helping


基本上,我要删除features_subject中少于3个字符的功能。

最佳答案

下面的列表理解应该可以解决问题:

features_subject = [f for f in vectsubject.get_feature_names() if len(f) > 3]


现在,输出应排除长度小于3的任何单词:

dfbodyfeatures = gettop5(features_subject)
print(dfbodyfeatures)

0      aiding
1       syria
2      latest
3      exchange
4      helping

08-24 13:55