问题描述
我想使用DataStax企业4.6用Java编写并运行一个应用程序星火
它DSE星火分析模式。
I am trying to use DataStax Enterprise 4.6 to write a Spark application in Java and runit in DSE's Spark analytics mode.
在code使用产生火花的上下文 DSEConfHelper
:
The code for creating a Spark context using DSEConfHelper
:
SparkConf conf = DseSparkConfHelper.enrichSparkConf(new SparkConf())
.setAppName( "My application");
要使用 DSEConfHelper
我们需要导入 com.datastax.bdp.spark.DseSparkConfHelper
它位于 dse.jar
。
在我的的pom.xml
我已经包括了依赖性:
In my pom.xml
I have included the dependency:
<dependency>
<groupId>com.datastax</groupId>
<artifactId>bdp</artifactId>
<version>4.6.0</version>
</dependency>
但Maven的不能下载 dse.jar
。
请帮我。
创建星火上下文code基准摘自:
http://www.datastax.com/documentation/datastax_enterprise/4.6/datastax_enterprise/spark/sparkJavaApi.html
The reference for code for creating a Spark context is taken from:http://www.datastax.com/documentation/datastax_enterprise/4.6/datastax_enterprise/spark/sparkJavaApi.html
推荐答案
您必须手动安装 dse.jar
截至目前。这样做有两种方式。
You have to manually install dse.jar
as of right now. There are two ways of doing this.
选项1
使用安装JAR文件 MVN安装
:
$ mvn install:install-file -Dfile=<path-to-dse.jar> -DgroupId=com.datastax -DartficactId=bdp -Dversion=4.6.0
选项2
手动从安装位置复制 dse.jar
到 $ {} project.basedir / lib目录/
。然后修改的pom.xml
:
<dependency>
<groupId>com.datastax</groupId>
<artifactId>bdp</artifactId>
<version>4.6.0</version>
<scope>system</scope>
<systemPath>${project.basedir}/lib/dse.jar</systemPath>
</dependency>
我真的不知道为什么你调用神器BDP,但这些目的都无所谓,我只是用它。
I don't really know why you're calling the artifact "bdp", but for these purposes it doesn't matter, and I just used it as well.
这篇关于如何下载dse.jar的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!