我正在完成学士学位的最后一个项目，该项目是关于Apache Spark流和Apache Flink(仅流)之间的比较，而我刚刚来到Flink文档中的“物理分区”。问题是在这个文档中它没有很好地解释这两个转换是如何工作的。直接从文档:
资料来源:https://ci.apache.org/projects/flink/flink-docs-release-1.2/dev/datastream_api.html#physical-partitioning
两者都是自动完成的，所以 我所理解的 是它们均等地重新分配(shuffle() > 均匀分布和 rebalance() > round-robin)和随机数据。然后我推断 rebalance() 以更好的方式分发数据(“每个分区的负载相等”)，因此任务必须处理相同数量的数据，但 shuffle() 可能会创建越来越小的分区。 那么，在哪些情况下您可能更喜欢使用 shuffle() 而不是 rebalance() ？
我唯一想到的是 rebalance() 可能需要一些处理时间，因此在某些情况下，它可能会使用更多的时间来进行重新平衡，而不是在 future 的转换中改进的时间。
我一直在寻找这个，没有人谈论过这个，只有在 Flink 的邮件列表中，但他们没有解释 shuffle() 是如何工作的。
感谢 Sneftel，他帮助我改进了我的问题，让我重新思考我想问什么； Till 很好地回答了我的问题。 :D
最佳答案
正如文档所述，shuffle 将随机分发数据，而 rebalance 将以循环方式分发数据。后者效率更高，因为您不必计算随机数。此外，根据随机性，您最终可能会得到某种不那么均匀的分布。
另一方面，rebalance 将始终开始将第一个元素发送到第一个 channel 。因此，如果你只有很少的元素(元素比子任务少)，那么只有一些子任务会接收元素，因为你总是开始将第一个元素发送到第一个子任务。在流的情况下，这最终应该无关紧要，因为您通常有一个无界的输入流。
这两种方法存在的实际原因是历史原因。 shuffle 首先被引入。为了使批处理与流式 API 更加相似，随后引入了 rebalance。
关于apache - Apache Flink 中 shuffle() 和 rebalance() 的区别，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/43956510/