在我的数据集中,我有100,000个文本文件,我正在尝试使用CoreNLP处理它们。期望的结果是100,000个完成的文本文件结果,该结果将每个句子分类为具有积极,消极或中立的情感。
为了从一个文本文件到另一个文本文件,我使用CoreNLP jar文件,该文件在下面的命令行中使用。

 java -cp "*" -mx5g edu.stanford.nlp.sentiment.SentimentPipeline -fileList list.txt


由于我无法让模型获取文件列表中的每个文件,因此需要很长时间才能完成,但是它将单个路径行作为输入到模型中。

我还试图在此链接中实现其他一些方法,但是我无法从中获得结果的需要。
https://stanfordnlp.github.io/CoreNLP/cmdline.html#classpath

有没有更好,更快的方法来做到这一点并加快这一过程?

最佳答案

试试这个命令:

java -Xmx14g edu.stanford.nlp.pipeline.StanfordCoreNLP -annotators tokenize,ssplit,pos,lemma,parse,sentiment -parse.model edu/stanford/nlp/models/srparser/englishSR.ser.gz -outputFormat text -filelist list.txt


它将使用更快的移位减少解析器。这将遍历list.txt中的每个文件(每行1个文件)并进行处理。

关于java - 加快CoreNLP情感中的注释时间,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/49513178/

10-12 17:57