javascript - 在大量句子中查找n-gram频率

我有一组短信。我们称它们为m1, m2, ....。消息的最大数量低于1,000,000。每条消息的长度都在1024字符以下，并且全部为小写。让我们还选择一个n-gram s1。

我需要从所有这些消息中找到所有可能的子字符串的频率。例如，假设我们只有两条消息:

m1 = a cat in a cage
m2 = a bird in a cage

这两个消息中某些n-gram的频率:

'a' = 4
'in a cage' = 2
'a bird' = 1
'a cat' = 1
...

请注意，由于in = 2，in a = 2和a cage = 2是in a cage = 2的子集，并且具有相同的频率，因此不应列出它们。只选择频率最高的最长的一个；请遵循以下条件:最长的sn-gram最多包含8个单词，总字符数少于30。如果一个n-gram超过此限制，则可以将其分解为两个或更多的n-gram并单独列出。

我需要为所有这些文本消息找到这样的n-gram，并按出现次数降序对它们进行排序。

我该如何解决这个问题？我需要使用javascript解决方案。

最佳答案

可能您可以采取以下方法。一有时间，我将编辑添加解释。

var subSentences = (w,...ws) => ws.length ? ws.reduce((r,s) => (r.push(r[r.length-1] + ` ${s}`), r),[w])
                                              .concat(subSentences(...ws))
                                          : [w],
    frequencyMap = sss => sss.reduce((map,ss) => subSentences(...ss.split(/\s+/)).reduce((m,s) => m.set(s, m.get(s) + 1 || 1), map), new Map());

    frequencies  = frequencyMap(["this is a test string",
                                 "this is another one",
                                 "yet another one is here"]);

console.log(...frequencies.entries()); // logging map object seems not possible hence entries

.as-console-wrapper { max-height : 100% !important
                    }

关于javascript - 在大量句子中查找n-gram频率，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/52019330/