我试图将一列添加到数据框,其中将包含另一列的哈希。

我找到了以下文档:
https://spark.apache.org/docs/2.3.0/api/sql/index.html#hash
并尝试了这个:

import org.apache.spark.sql.functions._
val df = spark.read.parquet(...)
val withHashedColumn = df.withColumn("hashed", hash($"my_column"))


但是该hash()使用的哈希函数是什么?是murmurshamd5,还有其他吗?

我在此列中获得的值是整数,因此此处的值范围可能是[-2^(31) ... +2^(31-1)]
我可以在这里获得长期价值吗?我可以代替字符串哈希吗?
如何为此指定一种具体的哈希算法?
我可以使用自定义哈希函数吗?

最佳答案

它是基于源代码的Murmur。

  /**
   * Calculates the hash code of given columns, and returns the result as an int column.
   *
   * @group misc_funcs
   * @since 2.0.0
   */
  @scala.annotation.varargs
  def hash(cols: Column*): Column = withExpr {
    new Murmur3Hash(cols.map(_.expr))
  }

关于scala - Spark 中的哈希函数,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/53634650/

10-16 02:54