在apache的火花数据帧串连列 | 在apache的火花数据帧串连列

本文介绍了在apache的火花数据帧串连列的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！

问题描述

我们如何在一个数据帧Concat的2列？
是否有火花SQL任何功能，我们可以使用Concat的一个DF表2列。

How do we concat 2 columns in a dataframe?Is there any function in spark sql which we can use to concat 2 columns in a df table.

推荐答案

使用原始的SQL，您可以使用 CONCAT ：

With raw SQL you can use CONCAT:

在Python

In Python

df = sqlContext.createDataFrame([("foo", 1), ("bar", 2)], ("k", "v"))
df.registerTempTable("df")
sqlContext.sql("SELECT CONCAT(k, ' ',  v) FROM df")

在Scala中

In Scala

import sqlContext.implicits._

val df = sc.parallelize(Seq(("foo", 1), ("bar", 2))).toDF("k", "v")
df.registerTempTable("df")
sqlContext.sql("SELECT CONCAT(k, ' ',  v) FROM df")

由于星火1.5.0可以使用 CONCAT 与数据帧的API函数：

Since Spark 1.5.0 you can use concat function with DataFrame API:

在Python的：

In Python :

from pyspark.sql.functions import concat, col, lit

df.select(concat(col("k"), lit(" "), col("v")))

在斯卡拉：

In Scala :

import org.apache.spark.sql.functions.{concat, lit}

df.select(concat($"k", lit(" "), $"v"))

还有 CONCAT_WS 函数，它接受一个字符串分隔符作为第一个参数。

There is also concat_ws function which takes a string separator as the first argument.

这篇关于在apache的火花数据帧串连列的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持！