关于火花的整体情况还不太清楚。假设我创建了一个常规的Java jar,不涉及任何Spark相关的东西,没有sparksession,没有sparkcontext,没有rdd,没有数据集,那么如果我通过使用deply-mode = cluster的spark-submit将其提交到spark集群会发生什么?

我写了一个简单的罐子,它只打印一些行,并且似乎可以在我的玩具spark上正常工作,我曾经认为这会导致一些错误,因为它不是spark应用程序。

我想知道在提交给具有多个节点的真实世界的Spark集群时是否可以期望得到相同的结果?

最佳答案

这可能取决于集群管理器和模式,但总的来说并不奇怪。 Spark应用程序是具有常规main功能的普通JVM应用程序,它没有实现特定的接口,并且缺少活动会话也不是问题。

10-01 18:15
查看更多