MinHash是用于快速检测两个集合的相似性的方法。改方法由Andrei Broder(1997)发明,并最初用于搜索引擎AltaVista中来检测重复的网页的算法。它同样可以用于推荐系统和大规模文档聚类中。
我们先介绍Jaccard相似度量。对于两个集合A与B,Jaccard相似性系数可以定义为:
容易知道,Jaccard系数是0-1之间的值。当两个集合越接近,那么该值越接近1;反之跟接近0。
假设h是一个hash function,将A与B的元素映射成一个整数,定义:是集合S中具有最小哈希值的元素。假设该哈希值足够好,不会产生碰撞,那么,我们可以得到一个重要的结论:
仅当中具有最小哈希值得元素位于中时,。
所以有,,即集合A、B经过hash后最小哈希值相等的概率。
若令为一个随机变量,当时取1,否则取0,那么就是的一个无偏估计。
有了上面的重要结论,我们可以根据minhash来计算两个集合的相似度了。
方法1:使用多个hash函数
取k个hash函数,对于每个hash函数,计算和。用y表示的次数,那么可以用来估计。
方法2:使用单一的hash函数
上面讲到的方法1是比较耗时的,因为要计算集合中每个元素的k个哈希函数的值,计算复杂度比较高。为了达到一定的准确性,k通常取400或800。
为了减少计算量,我们定义表示集合S中拥有最小hash值的k个元素组成的子集。我们可以把当成集合S的一个签名。我们可以用两个集合的签名的相似度来估计这两个集合的相似度。
那么
是集合的一个随机抽样。
是X和的交集。
因此,是的一个无偏估计。
根据标准切尔诺夫界限,对与非替换的抽样,期望的误差
注:无偏估计:
设A'=g(X1,X2,...,Xn)是未知参数A的一个点估计量,若A'满足
E(A')= A
则称A'为A的无偏估计量,否则为有偏估计量。
注:无偏估计就是系统误差为零的估计。