我正在尝试使用 Airflow 的 DataProcSparkOperator 在 Dataproc 上执行 Spark jar。该 jar 位于 GCS 上，我正在动态创建 Dataproc 集群，然后在新创建的 Dataproc 集群上执行此 jar。
我可以使用默认设置的 Airflow 的 DataProcSparkOperator 执行此操作，但我无法配置 Spark 作业属性(例如 --master 、 --deploy-mode 、 --driver-memory 等)。
从 Airflow 的文档中没有得到任何帮助。也尝试了很多东西，但没有成功。
帮助表示赞赏。
最佳答案
要通过 DataProcSparkOperator 配置 Spark 作业，您需要使用 dataproc_spark_properties 参数。
例如，您可以像这样设置 deployMode:
DataProcSparkOperator(
dataproc_spark_properties={ 'spark.submit.deployMode': 'cluster' })
在 this answer 中，您可以找到更多详细信息。