hadoop - 使用 cascalog 将共现计数转化为共现概率

我有一个存储在 s3 上的共现计数表(其中每一行是 [key-a, key-b, count])，我想从中生成共现概率矩阵。

为此，我需要计算每个键 a 的计数总和，然后将每一行除以其键 a 的总和。

如果我是“手动”执行此操作，我将对数据进行一次传递以生成从键到总计的哈希表(在 leveldb 或类似的东西中)，然后对数据进行第二次传递以进行除法。这听起来不像是一种非常粗暴的方式来做到这一点。

有什么方法可以通过相当于自连接来获得一行的总数吗？

最佳答案

样本数据:

(def coocurrences
  [["foo" "bar" 3]
   ["bar" "foo" 3]
   ["foo" "quux" 6]
   ["quux" "foo" 6]
   ["bar" "quux" 2]
   ["quux" "bar" 2]])

询问:

(require '[cascalog.api :refer :all] '[cascalog.ops :as c])

(let [total (<- [?key-a ?sum]
              (coocurrences ?key-a _ ?c)
              (c/sum ?c :> ?sum))]
  (?<- (stdout) [?key-a ?key-b ?prob]
    (div ?c ?sum :> ?prob)
    (coocurrences ?key-a ?key-b ?c)
    (total ?key-a ?sum)))

输出:

RESULTS
-----------------------
bar     foo     0.6
bar     quux    0.4
foo     bar     0.3333333333333333
foo     quux    0.6666666666666666
quux    foo     0.75
quux    bar     0.25
-----------------------

关于hadoop - 使用 cascalog 将共现计数转化为共现概率，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/16628870/