谁能指出这个活跃批次被卡在这里数周却从未被处理的原因是什么？非常感谢。
我的猜测是执行者不足，更多的 worker /执行者可以解决问题吗？还是Spark在其任务计划程序中为不同批次分配优先级？
但是这里的情况是，最近的批次(6月底)已成功处理，但5月份的批次仍在排队。
我刚刚检查了我的Spark设置，调度程序策略是FIFO
spark.scheduler.mode FIFO
最佳答案
事实证明，主节点是瓶颈。
主节点内存不足，因此调度程序可能无法足够快地处理。
解决方案:将主节点更改为功能更强大的EC2实例
关于apache-spark - Spark流: long queued/active batches，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/38252198/