为运行Spark 2.0的pyspark指定自定义探查器

问题描述

我想知道如何在PySpark for Spark版本2+中指定自定义探查器类.在1.6以下，我知道我可以这样做:

I would like to know how to specify a custom profiler class in PySpark for Spark version 2+. Under 1.6, I know I can do so like this:

sc = SparkContext('local', 'test', profiler_cls='MyProfiler')

但是当我在2.0中创建 SparkSession 时，我没有显式访问权限 SparkContext .有人可以建议如何在Spark 2.0+中执行此操作吗?

but when I create the SparkSession in 2.0 I don't explicitly have access tothe SparkContext. Can someone please advise how to do this for Spark 2.0+ ?

推荐答案

SparkSession 可以使用现有的 SparkContext 进行初始化，例如:

SparkSession can be initialized with an existing SparkContext, for example:

from pyspark import SparkContext
from pyspark.sql import SparkSession
from pyspark.profiler import BasicProfiler

spark = SparkSession(SparkContext('local', 'test', profiler_cls=BasicProfiler))

这篇关于为运行Spark 2.0的pyspark指定自定义探查器的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持！