我正在批量处理非常大的文件。我在每一行的每个URI上调用以下方法:

public String shortenUri(String uri) {
    uri = uri
            .replace("http://www.lemon-model.net/lemon#", "lemon:")
            .replace("http://babelnet.org/rdf/", "bn:")
            .replace("http://purl.org/dc/", "dc:")
            .replace("http://www.w3.org/1999/02/22-rdf-syntax-ns#", "rdf:");
    return uri;
}


奇怪的是,这导致以下错误:

Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded
at java.util.regex.Pattern$BnM.optimize(Pattern.java:5411)
at java.util.regex.Pattern.compile(Pattern.java:1711)
at java.util.regex.Pattern.<init>(Pattern.java:1351)
at java.util.regex.Pattern.compile(Pattern.java:1054)
at java.lang.String.replace(String.java:2239)
at XYZ.shortenUri(XYZ.java:217)


我确实增加了XmsXmx,但没有帮助。奇怪的是,在监视进程时,我也没有观察到内存使用率的增加。关于提高性能和内存消耗的任何建议?

最佳答案

Oracle中的引号:


  过多的GC时间和OutOfMemoryError
  
  如果在垃圾回收上花费了太多时间,则并行收集器将抛出OutOfMemoryError:如果在垃圾回收中花费了总时间的98%以上,而回收的堆少于2%,则将抛出OutOfMemoryError。此功能旨在防止应用程序长时间运行,而由于堆太小而几乎没有进展,甚至没有进展。如有必要,可以通过在命令行中添加选项-XX:-UseGCOverheadLimit来禁用此功能。



您可以尝试做的第一件事是增加堆大小,例如,使用-Xmx4G增大几GB。
另一个选择可能是通过不使用replace方法来防止创建太多对象。相反,您可以根据需要创建PatternMatcher对象(请参见下文)。
我看到的第三个选项是与-XX:-UseGCOverheadLimit一起完全禁用此功能

private static final Pattern PURL_PATTERN = Pattern.compile("http://purl.org/dc/");
// other patterns

public static String shortenUri(String uri) {
    // other matchers
    Matcher matcher = PURL_PATTERN.matcher(uri);
    return matcher.replaceAll("dc:");
}

07-24 09:38
查看更多