我发誓我之前已经做过,但是我找不到代码或答案。我想获取当前正在运行的SparkContext的名称,并将其读入变量或将其打印到屏幕上。类似于以下内容:
val myContext = SparkContext.getName
因此,例如,如果我在spark-shell中运行它,它将返回“sc”。有人知道该怎么做吗?
最佳答案
我不太确定我是否遵循...按名称,您的意思是应用程序的名称吗?如果是这样,您将调用appName
。在spark-shell中,例如:sc.appName
。
如果您要获取保存上下文的变量的名称,那么我不确定可以。 sc
只是用于访问spark-shell中上下文的val,但是您可以在自己的应用程序中随意命名。
[编辑]
SparkContext上有一个getOrCreate
方法,它可以返回现有的已创建和注册的上下文。这会做你想要的吗?
https://spark.apache.org/docs/1.5.1/api/java/org/apache/spark/SparkContext.html#getOrCreate()
关于scala - 查找当前正在运行的SparkContext的名称,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/33270336/