这可能是一个新手问题，但是我无法理解在Spark 2.1中使用QuantileDiscretizer而不是Bucketizer有什么特定的优势吗？
我知道QuantileDiscretizer是一个估算器，可以处理NAN值，而Bucketizer是一个转换器，如果数据具有NAN值，则会引发错误。
从spark documentation中，下面的代码产生类似的输出
from pyspark.ml.feature import QuantileDiscretizer
from pyspark.ml.feature import Bucketizer
data = [(0, 18.0), (1, 19.0), (2, 8.0), (3, 5.0), (4, 2.2)]
df = spark.createDataFrame(data, ["id", "hour"])
result_discretizer = QuantileDiscretizer(numBuckets=3, inputCol="hour",outputCol="result").fit(df).transform(df)
result_discretizer.show()
splits = [-float("inf"),3, 10,float("inf")]
result_bucketizer = Bucketizer(splits=splits, inputCol="hour",outputCol="result").transform(df)
result_bucketizer.show()
输出 :
+---+----+------+
| id|hour|result|
+---+----+------+
| 0|18.0| 2.0|
| 1|19.0| 2.0|
| 2| 8.0| 1.0|
| 3| 5.0| 1.0|
| 4| 2.2| 0.0|
+---+----+------+
+---+----+------+
| id|hour|result|
+---+----+------+
| 0|18.0| 2.0|
| 1|19.0| 2.0|
| 2| 8.0| 1.0|
| 3| 5.0| 1.0|
| 4| 2.2| 0.0|
+---+----+------+
请让我知道一个相对于另一个是否有明显的优势吗？
最佳答案
QuantileDiscretizer根据数据确定存储分区。Bucketizer将数据放入您通过splits指定的存储桶中。
因此，当您知道所需的存储桶时，请使用Bucketizer，并使用QuantileDiscretizer为您估计拆分。
该示例中的输出相似是由于人为设计的数据和选择的splits。在其他情况下，结果可能会有很大的不同。