r - 是否可以向RTextTools包提供自定义停用词的列表？

使用tm包，我可以这样:

c0 <- Corpus(VectorSource(text))
c0 <- tm_map(c0, removeWords, c(stopwords("english"),mystopwords))

mystopwords是我要删除的其他停用词的向量。

但是我找不到使用RTextTools包的等效方法。例如:

dtm <- create_matrix(text,language="english",
             removePunctuation=T,
             stripWhitespace=T,
             toLower=T,
             removeStopwords=T, #no clear way to specify a custom list here!
             stemWords=T)

是否有可能做到这一点？我真的很喜欢RTextTools接口(interface)，不得不回到tm很可惜。

最佳答案

有三种(甚至可能更多)解决问题的方法:

首先，仅使用tm包删除单词。这两个软件包都处理相同的对象，因此您可以使用tm删除单词，而不是RTextTools软件包。即使您在函数create_matrix中查看，它也会使用tm函数。

其次，修改create_matrix函数。例如，添加像own_stopwords=NULL这样的输入参数，并添加以下几行:

# existing line
corpus <- Corpus(VectorSource(trainingColumn),
                     readerControl = list(language = language))
# after that add this new line
if(!is.null(own_stopwords)) corpus <- tm_map(corpus, removeWords,
                                          words=as.character(own_stopwords))

第三，编写您自己的函数，如下所示:

# excluder function
remove_my_stopwords<-function(own_stw, dtm){
  ind<-sapply(own_stw, function(x, words){
    if(any(x==words)) return(which(x==words)) else return(NA)
  }, words=colnames(dtm))
  return(dtm[ ,-c(na.omit(ind))])
}

让我们看看它是否有效:

# let´s test it
data(NYTimes)
data <- NYTimes[sample(1:3100, size=10,replace=FALSE),]
matrix <- create_matrix(cbind(data["Title"], data["Subject"]))

head(colnames(matrix), 5)
# [1] "109"         "200th"       "abc"         "amid"        "anniversary"


# let´s consider some "own" stopwords as words above
ostw <- head(colnames(matrix), 5)

matrix2<-remove_my_stopwords(own_stw=ostw, dtm=matrix)

# check if they are still there
sapply(ostw, function(x, words) any(x==words), words=colnames(matrix2))
#109       200th         abc        amid anniversary
#FALSE       FALSE       FALSE       FALSE       FALSE

高温超导

关于r - 是否可以向RTextTools包提供自定义停用词的列表？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/19239190/