我想在hdfs中创建 Parquet 文件,然后通过 hive 将其读取为外部表。编写 Parquet 文件时,我因 Spark 壳中的舞台故障而感到震惊。
Spark版本:1.5.2
Scala版本:2.10.4
Java:1.7
输入文件:(employee.txt)
1201,satish,25
1202,克里希纳,28
1203,amith,39
1204,熟,23
1205,prudvi,23
在Spark-Shell中:
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)
val employee = sc.textFile("employee.txt")
employee.first()
val schemaString = "id name age"
import org.apache.spark.sql.Row;
import org.apache.spark.sql.types.{StructType, StructField, StringType};
val schema = StructType(schemaString.split(" ").map(fieldName ⇒ StructField(fieldName, StringType, true)))
val rowRDD = employee.map(_.split(",")).map(e ⇒ Row(e(0).trim.toInt, e(1), e(2).trim.toInt))
val employeeDF = sqlContext.createDataFrame(rowRDD, schema)
val finalDF = employeeDF.toDF();
sqlContext.setConf("spark.sql.parquet.compression.codec", "snappy")
var WriteParquet= finalDF.write.parquet("/user/myname/schemaParquet")
当我键入我得到的最后一条命令时,
ERROR
SPARK APPLICATION MANAGER
我什至尝试增加执行程序的内存,但它仍然失败。
同样重要的是,finalDF.show()会产生相同的错误。
因此,我相信我在这里犯了一个逻辑错误。
感谢您的支持
最佳答案
这里的问题是您正在创建一个架构,其所有字段/列的类型默认为 StringType 。但是在传递模式中的值时, Id 和 Age 的值已根据代码转换为Integer,因此在运行时抛出Matcherror。
模式中列的数据类型应与传递给它的值的数据类型相匹配。试试下面的代码。
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)
val employee = sc.textFile("employee.txt")
employee.first()
//val schemaString = "id name age"
import org.apache.spark.sql.Row;
import org.apache.spark.sql.types._;
val schema = StructType(StructField("id", IntegerType, true) :: StructField("name", StringType, true) :: StructField("age", IntegerType, true) :: Nil)
val rowRDD = employee.map(_.split(" ")).map(e ⇒ Row(e(0).trim.toInt, e(1), e(2).trim.toInt))
val employeeDF = sqlContext.createDataFrame(rowRDD, schema)
val finalDF = employeeDF.toDF();
sqlContext.setConf("spark.sql.parquet.compression.codec", "snappy")
var WriteParquet= finalDF.write.parquet("/user/myname/schemaParquet")
此代码应运行正常。
关于scala - 无法使用Spark Shell在HDFS中创建Parquet文件,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/37686601/