Vectorizer或TfidfVectorizer中保留标点符

Vectorizer或TfidfVectorizer中保留标点符

本文介绍了如何在Scikit-Learn文本CountVectorizer或TfidfVectorizer中保留标点符号?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我是否可以使用Scikit-Learn中的文本CountVectorizer或TfidfVectorizer参数从文本文档中保留!,?,和'的标点符号?

Is there any way for me to preserve punctuation marks of !, ?, " and ' from my text documents using text CountVectorizer or TfidfVectorizer parameters in Scikit-Learn?

先谢谢了.

推荐答案

在实例化矢量化程序时,应自定义token_pattern参数.例如:

You should customize the token_pattern parameter when you instantiate the vectorizer. For example:

vent = CountVectorizer(token_pattern=r"(?u)\b\w\w+\b|!|\?|\"|\'")

这篇关于如何在Scikit-Learn文本CountVectorizer或TfidfVectorizer中保留标点符号?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!

08-13 18:54