关于IDEA里如何多种方式打jar包,然后上传到集群的问题?

  前期准备,就是在,IDEA里,maven来创建项目。这里不多赘述。

  1)用maven项目来打包,我推荐这个。 (强烈推荐,简单又快速)

Spark编程环境搭建(基于Intellij IDEA的Ultimate版本)

  而且,还可以改名。比如我这篇博客里最后打好需要包括MyJavaWordCount.java和MyScalaWordCout.scala,默认名为test-spark-1.0-SNAPSHOT.jar,你自己可以更改,这个不是重点。

2)如下,以下这种方式,看看就好,显得有点冗长。

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

  一般,我们,习惯将默认的D:\Code\IntelliJIDEACode\spark-helloworld\src\main\scala

 改为 D:\Code\IntelliJIDEACode\spark-helloworld\src

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

  如下,不是maven创建出来的项目,到了这一步,需要如下。(我这里是manven,所以不需)

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

name:spark-helloworld:jar

Output directory: D:\Code\IntelliJIDEACode\spark-helloworld\out\artifacts\spark-helloworld_jar

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

  比如,我这里

[spark@sparksinglenode testspark]$ $HADOOP_HOME/bin/hadoop fs -copyFromLocal /home/spark/testspark/words.txt hdfs://sparksinglenode:9000/

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

IDEA里如何多种方式打jar包,然后上传到集群-LMLPHP

05-11 17:21