java - 无法连接到本地Spark session

在这里激发新手。
根据我在网上找到的说明，我在本地Windows开发计算机上安装了spark。
WebUI的Spark属性是

spark.app.name  Spark shell
spark.driver.host   192.168.2.131
spark.driver.port   53796
spark.executor.id   driver
spark.home  C:\BigData\spark
spark.master    local[*]

现在，在我的本地计算机上的Java Web应用程序中，当我尝试使用代码创建连接到spark会话时，会创建一个新的本地spark会话，该会话指向甚至位于同一台计算机上的不同主机和端口。

    SparkConf conf = new SparkConf()
                        .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer");
    Globals.spark = SparkSession.builder()
                            .master("local[2]")
                            .appName("test")
                            .config(conf)
                            .getOrCreate();

新创建的Spark会话的属性

spark.app.name  test
spark.driver.host   192.168.2.198
spark.driver.port   57755
spark.executor.id   driver
spark.master    local[2]

如何连接到本地计算机中已在运行的spark会话？我想要这样做是因为我希望能够添加执行程序并修改属性
在我的本地计算机上调试应用程序，然后再将其导入生产集群。

最佳答案

这不是Spark的工作方式：运行后，您将无法从外部连接到Spark会话。如果要调整它，请修改一些参数，您必须先进行调整。

看https://developer.ibm.com/code/open/projects/spark-bench/。 Spark Bench将允许您以自动化方式进行操作。我希望这将帮助您解决用例。

关于java - 无法连接到本地Spark session ，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/54291260/