如何在Spark Dataframe中的列之间进行一些计算?

问题描述

例如，我想添加la和lon列，然后在另一列中输出结果.

For example, I want to plus the la and lon column and output result in another column.

+------+------------------+------------------+
|userid|               la |               lon|
+------+------------------+------------------+
|    u3|               2.0|               2.0|
|    u4|               1.0|               1.0|
|    u5|               2.0|               2.0|
|    u1|1.6666666666666667|2.6666666666666665|
|    u6|               1.0|               3.5|
|    u2|               3.0|               4.0|
+------+------------------+------------------+

推荐答案

如果只需要将两列加起来，那就很简单了:

If you just need to sum two columns together, it's pretty straightforward :

df.withColumn("x", $"la" + $"lon")

x是新列的名称.

将列提升为2的幂:

df.withColumn("x", pow($"la" + $"lon", 2))

这篇关于如何在Spark Dataframe中的列之间进行一些计算?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持！