在我开发的应用程序中,我需要执行大量的REST调用。我需要交互的REST API资源的体系结构是分层的,如下所示:

/api/continents - return list of all Earth's continents
/api/continents/{continent_name}/countries - return list of all countries on mentioned continent
/api/continents/{continent_name}/countries/{country_name}/cities - return list of all cities in mentioned country


不幸的是,此API没有提供任何方法来获取所有城市的信息,我首先需要获取所有大洲的列表,然后需要获取每个大洲的所有国家/地区的列表,然后要获取针对每个大洲的所有国家/地区的所有城市的列表每个大陆。

首先,我尝试实现从该API获取所有城市的方法,而无需仅通过连续调用进行并行化。像这样:

private List<City> getCities() {
    List<Continent> continents = getAllContinents(); //HTTP GET call
    List<Country> countries = new ArrayList<>();
    for (Continent continent: continents) {
        countries.addAll(getAllCountriesOfContinent(continent));
    }
    List<City> cities = new ArrayList<>();
    for (Country country : countries) {
        cities.addAll(getAllCitiesOfCountry(country));
    }
    return cities;
}


但是这种方法工作太慢(具体执行时间约为7小时)。我决定尝试使用Java并行流和CompletableFuture对其进行改进,并获得了以下方法:

private List<City> getCities() {
    return getAllContinents()
        .parallelStream()
        .map(continent -> getAllCountriesOfContinent(continent))
        .flatMap(feature -> feature.join().parallelStream())
        .map(country -> getAllCitiesOfCountry(country))
        .flatMap(feature -> feature.join().parallelStream())
        .collect(Collectors.toList());
}


其中getAllCountriesOfContinent和getAllCitiesOfCountry方法返回了CompletableFuture列表,如下所示:

private CompletableFuture<List<Country>> getAllCountriesOfContinent(Continent continent) {
    return CompletableFuture.supplyAsync(() -> {
        return restClient.getDataFromApi(continent);
    });
}

private CompletableFuture<List<City>> getAllCitiesOfCountry(Country country) {
    return CompletableFuture.supplyAsync(() -> {
        return restClient.getDataFromApi(country);
    });
}


通过这样的重构,我获得了不错的性能提升(执行了大约25-30分钟)。但是我认为我可以使用Java ThreadPoolExecutors和Threads或ForkJoin框架对其进行进一步的改进。这样的方法是否可以帮助我提高代码的性能,或者还有其他一些特殊的技术/算法/框架?

最佳答案

这样的方法会帮助我提高性能吗?


答案是:可能。

您会看到,parallelStream()为您提供了多线程的“默认”实现(在幕后,该操作实际上使用了ForkJoin框架)。

换句话说:您可以随时退后一步,投入大量时间进行实验,在其中使用不同的低级方法并测量相应的结果。是的,很可能,当您花1周的时间对算法进行微调时,您应该能够获得比依赖Java必须提供的“默认实现”更好的东西。

但是,您将获得多少改进,以及需要多长时间才能达到目标,这是很难预测的。

因此,真正的答案将是:


来衡量哪个操作需要多长时间,以识别整个系统中的真正瓶颈(例如:典型客户是否应该在每个国家/地区使用一个线程,以获取这些城市,或者线程数量较少会更有帮助)
如果可能,请增强该REST API,以简单地为您提供那里的城市列表


长话短说:您必须进行权衡。您可以编写许多自定义代码以获得更好的结果。但是没有人能预先告诉您您将获得的收益,以及“随着时间的推移编写和维护更复杂的代码”会在您的“预算”中增加多少“成本”。

10-06 10:00
查看更多