scala - 从数据框 Spark 中删除列

我有一个包含大量列的Spark数据框。我想从中删除两列以获得新的数据框。

如果列减少了，我本可以在API中使用select方法，如下所示:

pcomments = pcomments.select(pcomments.col("post_id"),pcomments.col("comment_id"),pcomments.col("comment_message"),pcomments.col("user_name"),pcomments.col("comment_createdtime"));

但是由于从长列表中选择列是一项繁琐的任务，是否有解决方法？

最佳答案

使用删除方法和和ColumnRenamed 方法。

例:

    val initialDf= ....

    val dfAfterDrop=initialDf.drop("column1").drop("coumn2")

    val dfAfterColRename= dfAfterDrop.withColumnRenamed("oldColumnName","new ColumnName")

关于scala - 从数据框 Spark 中删除列，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/41763227/