我正在批量处理非常大的文件。我在每一行的每个URI上调用以下方法:
public String shortenUri(String uri) {
uri = uri
.replace("http://www.lemon-model.net/lemon#", "lemon:")
.replace("http://babelnet.org/rdf/", "bn:")
.replace("http://purl.org/dc/", "dc:")
.replace("http://www.w3.org/1999/02/22-rdf-syntax-ns#", "rdf:");
return uri;
}
奇怪的是,这导致以下错误:
Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded
at java.util.regex.Pattern$BnM.optimize(Pattern.java:5411)
at java.util.regex.Pattern.compile(Pattern.java:1711)
at java.util.regex.Pattern.<init>(Pattern.java:1351)
at java.util.regex.Pattern.compile(Pattern.java:1054)
at java.lang.String.replace(String.java:2239)
at XYZ.shortenUri(XYZ.java:217)
我确实增加了
Xms
和Xmx
,但没有帮助。奇怪的是,在监视进程时,我也没有观察到内存使用率的增加。关于提高性能和内存消耗的任何建议? 最佳答案
Oracle中的引号:
过多的GC时间和OutOfMemoryError
如果在垃圾回收上花费了太多时间,则并行收集器将抛出OutOfMemoryError:如果在垃圾回收中花费了总时间的98%以上,而回收的堆少于2%,则将抛出OutOfMemoryError。此功能旨在防止应用程序长时间运行,而由于堆太小而几乎没有进展,甚至没有进展。如有必要,可以通过在命令行中添加选项-XX:-UseGCOverheadLimit来禁用此功能。
您可以尝试做的第一件事是增加堆大小,例如,使用-Xmx4G
增大几GB。
另一个选择可能是通过不使用replace
方法来防止创建太多对象。相反,您可以根据需要创建Pattern
和Matcher
对象(请参见下文)。
我看到的第三个选项是与-XX:-UseGCOverheadLimit
一起完全禁用此功能
private static final Pattern PURL_PATTERN = Pattern.compile("http://purl.org/dc/");
// other patterns
public static String shortenUri(String uri) {
// other matchers
Matcher matcher = PURL_PATTERN.matcher(uri);
return matcher.replaceAll("dc:");
}