java - 如何解析网站上的可下载列表？

有一个列表为<ul>的网站（滚动到末尾时会加载）。在1800,000个项目<ul>的<li>中，需要全部解析。我使用类Robot和方法mouseWheel，但是计算机最多挂了50,000个。完成非常长。
我用方法

public void scrollToEnd() {
        robot.mouseWheel(100000);
    }

有更好的解决方案吗？

最佳答案

与Selenium长期合作。 mouseWheel（）在某些情况下不起作用。我用这个

((JavascriptExecutor) webDriver).executeScript("window.scrollBy(0, -10000)");

因此，向下滚动并检查您的元素是否可见或可单击，您需要什么

ExpectedConditions.visibilityOf(webElement)