我发誓我之前已经做过,但是我找不到代码或答案。我想获取当前正在运行的SparkContext的名称,并将其读入变量或将其打印到屏幕上。类似于以下内容:

val myContext = SparkContext.getName

因此,例如,如果我在spark-shell中运行它,它将返回“sc”。有人知道该怎么做吗?

最佳答案

我不太确定我是否遵循...按名称,您的意思是应用程序的名称吗?如果是这样,您将调用appName。在spark-shell中,例如:sc.appName

如果您要获取保存上下文的变量的名称,那么我不确定可以。 sc只是用于访问spark-shell中上下文的val,但是您可以在自己的应用程序中随意命名。

[编辑]
SparkContext上有一个getOrCreate方法,它可以返回现有的已创建和注册的上下文。这会做你想要的吗?

https://spark.apache.org/docs/1.5.1/api/java/org/apache/spark/SparkContext.html#getOrCreate()

关于scala - 查找当前正在运行的SparkContext的名称,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/33270336/

10-16 01:49