更新中
最近更新时间:
2019-12-02 16:11:11
一、背景
在很多NLP任务中,都涉及到语义相似度的计算,例如:
在搜索场景下(对话系统、问答系统、推理等),query和Doc的语义相似度;
feeds场景下Doc和Doc的语义相似度;
在各种分类任务,翻译场景下,都会涉及到语义相似度语义相似度的计算。
所以在学习的过程中,希望能够更系统的梳理一下这方面的方法。
二、基本概念
三、语义相似度计算方法
以下 1~4 均维基于向量空间模型的计算方法。
1. 内积法(Inner Product)
2. 余弦法(Cosine)
3. Dice 系数法(DiceCoefficient)
4. Jaccard 系数法(Jaccard Coefficient)