今天参考网上的博客,用gensim训练了word2vec词向量。训练的语料是著名科幻小说《三体》,这部小说我一直没有看,所以这次拿来折腾一下。

《三体》这本小说里有不少人名和一些特殊名词,我从网上搜了一些,作为字典,加入到jieba里,以提高分词的准确性。

一、gensim中关于word2vec的参数说明

这一部分其他博客整理的比较清楚了,我也就不抄过来了。看这个链接:

https://www.cnblogs.com/pinard/p/7278324.html

二、gensim训练word2vec词向量

(一)第一步:jieba加载自定义词典

词典是每个词单独一行,然后加入的时候,要注意把换行符去掉:word.strip(),不然你会惊奇地发现我的词典加进去了怎么没效果呢?

#encoding=utf8
import jieba
from gensim.models import word2vec
import gensim # 第一步:加入字典
def add_dict():
f = open('./text/special_nouns.txt','r', encoding='utf-8')
for word in f:
jieba.suggest_freq(word.strip(),tune=True)
f.close() add_dict()

(二)第二步:读取小说文本,进行分词,并保存分词结果

一般小说下载下来,文档的原始编码格式不是 UTF-8,而是 GBK,所以要进行编码转换。看其他博客转来转去比较麻烦,我是没转成功。。。然后我就直接把文档另存为 UTF-8 格式了。

jieba分完词后,要把结果用空格 ' ' 符号连接起来:' '.join(jieba.cut(document)), 词语之间用空格隔开,这才是正确的输入格式。

#  第二步:读取三体小说的文本,并进行分词
def document_segment(filename):
f = open(filename, 'r',encoding='utf-8')
document = f.read()
document_cut = ' '.join(jieba.cut(document))
with open('./text/The_three_body_problem_segment.txt','w',encoding='utf-8') as f2:
f2.write(document_cut) #
f.close()
f2.close() document_segment('./text/The_three_body_problem.txt')

(三)第三步:用CBOW模型训练词向量

LineSentence这个方法把传入的文件转化为一个迭代器,这个文件需要是每一行就是一个句子,每个句子中的词之间用空格隔开。

word2vec 相关的参数都在包word2vec.Word2Vec中,sg=0表示用CBOW模型来训练,hs=1表示加速方法为层次softmax,min_count=1表示词的词频低于1就会被丢弃,实际上没丢弃任何词语。

windows=3 表示滑动窗口为3,上下文词各取1个。size=100表示词向量维度是100。

之所以这么设置是因为这个语料比较小。

def train_w2v(filename):

    text = word2vec.LineSentence(filename)
model = word2vec.Word2Vec(text, sg=0,hs=1,min_count=1,window=3,size=100)
model.save('./my_model') train_w2v('./text/The_three_body_problem_segment.txt')

(四)第四步:导入模型,简单应用

导入保存好的模型后,一个是根据词把相应的词向量取出来,可以看到,取了三个词的词向量,所以词向量矩阵为3*100维。

然后是计算两个词之间的相似度。再就是得到和某个词比较相关的词的列表。

# 导入保存好的模型
model = word2vec.Word2Vec.load('./my_model') # 取出词语对应的词向量。
vec = model[['红岸','水滴','思想钢印']]
print('三个词的词向量矩阵的维度是:', vec.shape,'。')
print('-------------------------------我是分隔符------------------------')
# 计算两个词的相似程度。
print('叶文洁和红岸的余弦相似度是:', model.similarity('叶文洁', '红岸'),'。')
print('-------------------------------我是分隔符------------------------')
# 得到和某个词比较相关的词的列表
sim1 = model.most_similar('叶文洁',topn=10)
for key in sim1:
print('和叶文洁比较相关的词有',key[0],',余弦距离是:',key[1])
三个词的词向量矩阵的维度是: (3, 100) 。
-------------------------------我是分隔符------------------------
叶文洁和红岸的余弦相似度是: 0.27795327 。
-------------------------------我是分隔符------------------------
和叶文洁比较相关的词有 章北海 ,余弦距离是: 0.9233694672584534
和叶文洁比较相关的词有 他 ,余弦距离是: 0.9116515517234802
和叶文洁比较相关的词有 罗辑 ,余弦距离是: 0.9056273698806763
和叶文洁比较相关的词有 汪淼 ,余弦距离是: 0.8981802463531494
和叶文洁比较相关的词有 吴岳 ,余弦距离是: 0.8976055979728699
和叶文洁比较相关的词有 她 ,余弦距离是: 0.893031895160675
和叶文洁比较相关的词有 程心 ,余弦距离是: 0.8800253868103027
和叶文洁比较相关的词有 丁仪 ,余弦距离是: 0.8800160884857178
和叶文洁比较相关的词有 云天明 ,余弦距离是: 0.8763566613197327
和叶文洁比较相关的词有 她们 ,余弦距离是: 0.875525712966919
05-02 11:30