java - 如何下载dse.jar

我正在尝试使用DataStax Enterprise 4.6用Java编写Spark应用程序并运行
在DSE的Spark分析模式下进行操作。

使用DSEConfHelper创建Spark上下文的代码：

SparkConf conf = DseSparkConfHelper.enrichSparkConf(new SparkConf())
            .setAppName( "My application");

要使用DSEConfHelper，我们需要导入com.datastax.bdp.spark.DseSparkConfHelper
位于dse.jar中。

在我的pom.xml中，我包括了依赖项：

<dependency>
    <groupId>com.datastax</groupId>
    <artifactId>bdp</artifactId>
    <version>4.6.0</version>
</dependency>

但是Maven无法下载dse.jar。

请帮我。

用于创建Spark上下文的代码参考来自：
http://www.datastax.com/documentation/datastax_enterprise/4.6/datastax_enterprise/spark/sparkJavaApi.html

最佳答案

编辑：这完全被com.datastax.dse.dse-spark-dependencies工件所取代。将其添加到您的pom.xml中：

<dependencies>
  <dependency>
    <groupId>com.datastax.dse</groupId>
    <artifactId>dse-spark-dependencies</artifactId>
    <version>${dse.version}</version>
    <scope>provided</scope>
  </dependency>
<dependencies>

<repositories>
  <repository>
    <id>DataStax-Repo</id>
    <url>https://repo.datastax.com/public-repos/</url>
  </repository>
</repositories>

有关Maven，SBT和Gradle示例项目，请参见https://github.com/datastax/SparkBuildExamples。

原始的，过时的答案：

从现在开始，您必须手动安装dse.jar。有两种方法可以做到这一点。

选项1
使用mvn install安装JAR文件：

$ mvn install:install-file -Dfile=<path-to-dse.jar> -DgroupId=com.datastax -DartficactId=bdp -Dversion=4.6.0

选项2
从安装位置手动将dse.jar复制到${project.basedir}/lib/。然后修改您的pom.xml：

<dependency>
  <groupId>com.datastax</groupId>
  <artifactId>bdp</artifactId>
  <version>4.6.0</version>
  <scope>system</scope>
  <systemPath>${project.basedir}/lib/dse.jar</systemPath>
</dependency>

我真的不知道为什么您将工件称为“ bdp”，但是对于这些目的，这并不重要，我也使用了它。

关于java - 如何下载dse.jar，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/29020757/