本文介绍了找不到具有Python类的火花流异常的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我正在做一个项目，使用Spark Streaming将数据从CSV文件批量加载到HBase。我使用的代码如下(改编自here)：
def bulk_load(rdd):
conf = {#removed for brevity}
keyConv = "org.apache.spark.examples.pythonconverters.StringToImmutableBytesWritableConverter"
valueConv = "org.apache.spark.examples.pythonconverters.StringListToPutConverter"
load_rdd = rdd.flatMap(lambda line: line.split("
"))
.flatMap(csv_to_key_value)
load_rdd.saveAsNewAPIHadoopDataset(conf=conf,keyConverter=keyConv,valueConverter=valueConv)
包括flatMap在内的所有flatMap都正常工作。但是，在尝试执行saveAsNewAPIHadoopDataset时，我收到以下运行时错误：
java.lang.ClassNotFoundException: org.apache.spark.examples.pythonconverters.StringToImmutableBytesWritableConverter
我已经设置PYTHONPATH指向包含这个类(以及我的另一个转换器类)的JAR，但是这似乎并没有改善这种情况。任何建议都将不胜感激。提前谢谢。
推荐答案
进行了一些挖掘，但以下是解决方案：
JAR不需要像我想的那样添加到PYTHONPATH，而是添加到Spark配置中。我在配置中添加了以下属性(自定义火花-Ambari下的默认设置)spark.driver.extraClassPath和spark.executor.extraClassPath
我在每个罐子中添加了以下罐子：
/usr/hdp/2.3.2.0-2950/spark/lib/spark-examples-1.4.1.2.3.2.0-2950-hadoop2.7.1.2.3.2.0-2950.jar
/usr/hdp/2.3.2.0-2950/hbase/lib/hbase-common-1.1.2.2.3.2.0-2950.jar
/usr/hdp/2.3.2.0-2950/hbase/lib/hbase-client-1.1.2.2.3.2.0-2950.jar
/usr/hdp/2.3.2.0-2950/hbase/lib/hbase-protocol-1.1.2.2.3.2.0-2950.jar
/usr/hdp/2.3.2.0-2950/hbase/lib/guava-12.0.1.jar
/usr/hdp/2.3.2.0-2950/hbase/lib/hbase-server-1.1.2.2.3.2.0-2950.jar
添加这些JAR使Spark能够看到所有必要的文件。
这篇关于找不到具有Python类的火花流异常的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持！