jieba源碼研讀筆記（十七） - 關鍵詞提取之TF-IDF

jieba源碼研讀筆記（十七） - 關鍵詞提取之TF-IDF

前言

在前篇介紹了jieba/analyse/tfidf.py的架構，本篇將介紹該檔案中的TFIDF類別。

TFIDF類別的extract_tags函數負責實現核心算法。透過allowPOS這個參數可以選擇要使用一般的tokenizer或是用於詞性標注的tokenizer。

TF-IDF算法

參考維基百科中的tf-idf頁面：
TF代表的是term frequency，即文檔中各詞彙出現的頻率。
IDF代表的是inverse document frequency，代表詞彙在各文檔出現頻率倒數的對數值(以10為底)。
而TF-IDF值則是上述兩項的乘積。
TF-IDF值是在各詞彙及各文檔間計算的。如果詞彙i在文檔j中的TF-IDF值越大，則代表詞彙i在文檔j中越重要。

初始化

class TFIDF(KeywordExtractor):
    def __init__(self, idf_path=None):
        #定義兩種tokenizer，分別在兩種模式下使用
        self.tokenizer = jieba.dt
        self.postokenizer = jieba.posseg.dt
        #self.STOP_WORDS繼承自KeywordExtractor類別
        self.stop_words = self.STOP_WORDS.copy()
        #DEFAULT_IDF為全局變數
        #如果有傳參數到IDFLoader建構子內，
        #那麼它就會自動呼叫set_new_path函數，
        #來將idf_freq, median_idf這兩個屬性設定好
        self.idf_loader = IDFLoader(idf_path or DEFAULT_IDF)
        self.idf_freq, self.median_idf = self.idf_loader.get_idf()

set_idf_path函數

如果使用者想要換一個新的idf檔案，可以直接使用set_idf_path函數。
它會調用IDFLoader類別的set_new_path函數，讀取idf.txt這個文檔，並設定TFIDF物件的idf_freq及median_idf這兩個屬性。

class TFIDF(KeywordExtractor):
    # ...
    def set_idf_path(self, idf_path):
        new_abs_path = _get_abs_path(idf_path)
        if not os.path.isfile(new_abs_path):
            raise Exception("jieba: file does not exist: " + new_abs_path)
        self.idf_loader.set_new_path(new_abs_path)
        self.idf_freq, self.median_idf = self.idf_loader.get_idf()

extract_tags函數

jieba文檔中關於extract_tags參數的說明：

class TFIDF(KeywordExtractor):
    # ...
    def extract_tags(self, sentence, topK=20, withWeight=False, allowPOS=(), withFlag=False):
        """
        Extract keywords from sentence using TF-IDF algorithm.
        Parameter:
            - topK: return how many top keywords. `None` for all possible words.
            - withWeight: if True, return a list of (word, weight);
                          if False, return a list of words.
            - allowPOS: the allowed POS list eg. ['ns', 'n', 'vn', 'v','nr'].
                        if the POS of w is not in this list,it will be filtered.
            - withFlag: only work with allowPOS is not empty.
                        if True, return a list of pair(word, weight) like posseg.cut
                        if False, return a list of words
        """
        if allowPOS:
            # 參考[Python frozenset()](https://www.programiz.com/python-programming/methods/built-in/frozenset)
            # The frozenset() method returns an immutable frozenset object 
            #  initialized with elements from the given iterable.
            allowPOS = frozenset(allowPOS)
            # words為generator of pair(pair類別定義於jieba/posseg/__init__.py檔)
            # 其中pair類別的物件具有word及flag(即詞性)兩個屬性
            words = self.postokenizer.cut(sentence)
        else:
            # words為generator of str
            words = self.tokenizer.cut(sentence)
        # 計算詞頻(即TF，term frequency)
        freq = {}
        for w in words:
            if allowPOS:
                if w.flag not in allowPOS: # 僅選取存在於allowPOS中詞性的詞
                    continue
                elif not withFlag: # 僅回傳詞彙本身
                    w = w.word
            # 在allowPOS及withFlag皆為True的情況下，從w中取出詞彙本身，設為wc
            # 如果不符上述情況，則直接將wc設為w
            wc = w.word if allowPOS and withFlag else w
            if len(wc.strip()) < 2 or wc.lower() in self.stop_words:
                #略過長度小於等於1的詞及停用詞?
                continue
            freq[w] = freq.get(w, 0.0) + 1.0
        # 所有詞頻的總和
        total = sum(freq.values())
        # 將詞頻(TF)乘上逆向文件頻率(即IDF，inverse document frequency)
        for k in freq:
            kw = k.word if allowPOS and withFlag else k
            # 如果idf_freq字典中未記錄該詞，則以idf的中位數替代
            freq[k] *= self.idf_freq.get(kw, self.median_idf) / total
        # 現在freq變為詞彙出現機率乘上IDF

        if withWeight:
            # 回傳詞彙本身及其TF-IDF
            # itemgetter(1)的參數是鍵值對(因為是sorted(freq.items()))
            #  它回傳tuple的第1個元素(index從0開始)，即字典的值
            #  所以sorted會依value來排序
            # reverse=True:由大至小排列
            tags = sorted(freq.items(), key=itemgetter(1), reverse=True)
        else:
            # 僅回傳詞彙本身
            # freq.__getitem__的參數是字典的鍵(因為是sorted(freq))
            #  它回傳的是字典的值，所達到的效用是sort by value
            tags = sorted(freq, key=freq.__getitem__, reverse=True)
        if topK:
            # 僅回傳前topK個
            return tags[:topK]
        else:
            return tags

總結一下，extract_tags函數會先用tokenizer或postokenizer分詞後，再計算各詞的詞頻。
得到詞頻後，再與idf_freq這個字典中相對應的詞做運算，得到每個詞的TF-IDF值。
最後依據withWeight及topK這兩個參數來對結果做後處理再回傳。

參考連結

維基百科中的tf-idf頁面
jieba源碼研讀筆記（八） - 分詞函數入口cut及tokenizer函數
jieba源碼研讀筆記（十四） - 詞性標注函數入口