我正在尝试从文档中运行第一个示例:
Spark可在Java 6+和Python 2.6+上运行。对于Scala API,Spark 1.0.0
使用Scala 2.10。您将需要使用兼容的Scala版本
(2.10.x)。
当我运行命令时会发生这种情况:
./bin/run-example examples/src/main/scala/org/apache/spark/examples/SparkPi.scala 10
Exception in thread "main" java.lang.ClassNotFoundException: org.apache.spark.examples.examples/src/main/scala/org/apache/spark/examples/SparkPi.scala
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:270)
at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:289)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:55)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
我正在使用
For Hadoop 2 (HDP2, CDH5)
版本已经尝试过scala 2.9.3、2.10.3和2.11
有什么想法吗?
最佳答案
您需要指定示例类的名称,而不是源文件的路径。尝试
./bin/run-example SparkPi 10
Spark文档的Running the Examples and Shell部分对此进行了描述。
关于apache-spark - 尝试运行SparkPi示例时发生ClassNotFoundException,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/24477802/