scala - 如何在Scala中将DataFrame转换为DynamicFrame对象

我正在尝试将一些pySpark代码转换为Scala以提高性能。在AWS Glue(使用Apache Spark)中，会自动为您生成一个脚本，该脚本通常使用DynamicFrame对象加载，转换和写出数据。但是，DynamicFrame类不具有与DataFrame类相同的功能，有时您必须转换回DataFrame对象，反之亦然，以执行某些操作。以下是我在pySpark中从DataFrame转换为DynamicFrame对象的方式:

    // PySpark version
    // datasource is a DynamicFrame object
    datasource0 = datasource.toDF().limit(5000000)
    applymapping1 = DynamicFrame.fromDF(datasource0, glueContext, "applymapping1")

Scala中是否有等效于fromDF的函数来还原回DynamicFrame对象？

最佳答案

DynamicFrame对象具有 apply method:

val dynamicFrame = DynamicFrame(dataframe, glueContext)

关于scala - 如何在Scala中将DataFrame转换为DynamicFrame对象，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/50398834/