TFIDF练习

直接上代码吧：

 """

     测试Demo

 """

 import lightgbm as lgb

 import numpy as np

 from sklearn.feature_extraction.text import TfidfVectorizer

 from sklearn.feature_extraction.text import CountVectorizer

 def use_lgb():

     # 训练数据，500个样本，10个维度

     train_data = np.random.rand(500, 10)

     # 构建二分类数据

     label = np.random.randint(2, size=500)

     # 放入到dataset中

     train = lgb.Dataset(train_data, label=label)

     print(train)

 def use_tfidf():

     sentence = ['没有 你 的 地方 都是 他乡', '没有 你 的 旅行 都是 流浪']

     # 不去掉停用词

     c = CountVectorizer(stop_words=None)

     # 拟合模型返回文本矩阵

     count_word_tf = c.fit_transform(sentence)

     # print(count_word_tf.toarray())

     # # 查看那些词，以字典的形式

     # print(c.vocabulary_)

     # # 得到特征

     # print(c.get_feature_names())

 ###############################

     stopword = ['都是']

     # 构建一个tfidf向量器,去除停用词

     tfidf = TfidfVectorizer(stop_words=stopword)

     # 给出tfidf的权重,将tfidf矩阵抽取出来

     weight = tfidf.fit_transform(sentence).toarray()

     # 给出特征名称

     word = tfidf.get_feature_names()

     print("有哪些词：")

     print(word)

     print("\n词汇表以及他们的位置索引：")

     for key, value in tfidf.vocabulary_.items():

         print(key, value)

     print("\n词频矩阵：")

     print(weight)

     print(len(weight))

     # 打印每类文本中的tfidf权重，第一个for变量所有样本，第二个for遍历某一类文档下的所有权重

     for i in range(len(weight)):

         print("这里输出的是第{}文本的词语tfidf权重".format(i))

         for j in range(len(word)):

             # 经过tfidf后，找出每篇文档相关的词，这些词就是精心挑选出来的。然后根据这些词到文档中去找到tfidf值

             print(word[j], weight[i][j])

 if __name__ == '__main__':

     use_tfidf()

输出：

 有哪些词：

 ['他乡', '地方', '旅行', '没有', '流浪']

 词汇表以及他们的位置索引：

 他乡 0

 旅行 2

 流浪 4

 地方 1

 没有 3

 词频矩阵：

 [[0.6316672  0.6316672  0.         0.44943642 0.        ]

  [0.         0.         0.6316672  0.44943642 0.6316672 ]]

 2

 这里输出的是第0文本的词语tfidf权重

 他乡 0.6316672017376245

 地方 0.6316672017376245

 旅行 0.0

 没有 0.4494364165239821

 流浪 0.0

 这里输出的是第1文本的词语tfidf权重

 他乡 0.0

 地方 0.0

 旅行 0.6316672017376245

 没有 0.4494364165239821

 流浪 0.6316672017376245

本文参考：https://blog.csdn.net/the_lastest/article/details/79093407