parallelstream()提供跨单台机器核心的流上的操作的无缝并行化。

如何扩展此逻辑,以便parallelstream()将这些操作分配给集群的所有计算机?

理想情况下:
-我使用框架创建机器集群?
-启动myCollection.parallelstream().filter(something).collect()可将作业分配给集群所有计算机的所有核心,并将结果返回给引导集群的计算机。

最佳答案

Spark似乎可以满足您的要求,即在节点上分配工作。 dsl看起来类似于Java 8流。
您也可以看看akka流。使用Akka Streams不能开箱即用地做您想做的事情,但是它为您提供了一个工具箱来帮助您使用出色的dsl。

10-06 09:02