第N7周：调用Gensim库训练Word2Vec模型-EW帮帮网

文章目录

一、准备工作
- 1.安装Gensim库
- 2.对原始语料分词
二、训练Word2Vec模型
三、模型应用
四、总结

🍨 本文为🔗365天深度学习训练营中的学习记录博客

🍖 原作者：K同学啊

一、准备工作

1.安装Gensim库

2.对原始语料分词

import jieba
import jieba.analyse

jieba.suggest_freq('沙瑞金', True) # 加入一些词，使得jieba分词准确率更高
jieba.suggest_freq('田国富', True)
jieba.suggest_freq('高育良', True)
jieba.suggest_freq('侯亮平', True)
jieba.suggest_freq('钟小艾', True)
jieba.suggest_freq('陈岩石', True)
jieba.suggest_freq('欧阳菁', True)
jieba.suggest_freq('易学习', True)
jieba.suggest_freq('王大路', True)
jieba.suggest_freq('蔡成功', True)
jieba.suggest_freq('孙连城', True)
jieba.suggest_freq('季昌明', True)
jieba.suggest_freq('丁义珍', True)
jieba.suggest_freq('郑西坡', True)
jieba.suggest_freq('赵东来', True)
jieba.suggest_freq('高小琴', True)
jieba.suggest_freq('赵瑞龙', True)
jieba.suggest_freq('林华华', True)
jieba.suggest_freq('陆亦可', True)
jieba.suggest_freq('刘新建', True)
jieba.suggest_freq('刘庆祝', True)
jieba.suggest_freq('赵德汉', True)

with open('in_the_name_of_people.txt')as f:
    result_cut = []
    lines = f.readlines()
    for line in lines:
        result_cut.append(list(jieba.cut(line)))

f.close()

# 添加自定义停用词语
stopwords_list = ["，", "。", "\n", "\u3000", " ", "：", "！", "？","..."]

def remove_stopwords(ls):    ## 去除停用词
    return [word for word in ls if word not in stopwords_list]

result_stop=[remove_stopwords(x) for x in result_cut if remove_stopwords(x)]

print(result_stop[100:103])

[['侯亮平', '也', '很', '幽默', '一把', '抓住', '了', '赵德汉', '的', '手', '哎', '赵', '处长', '我', '既', '来', '了', '还', '真', '舍不得', '和', '你', '马上', '就', '分手', '哩', '咱们', '去', '下', '一个点', '吧', '说', '罢', '从', '赵家', '桌上', '杂物', '筐', '里', '准确', '地', '拿出', '一张', '白色', '门卡', '插到', '了', '赵德汉', '的', '上衣', '口袋', '里'], ['赵德汉', '慌', '了', '忙', '把门', '卡往', '外', '掏', '这', '…', '…', '这', '什么', '呀', '这', '是'], ['你', '帝京', '苑', '豪宅', '的', '门', '卡', '啊', '请', '继续', '配合', '我们', '执行公务', '吧']]

二、训练Word2Vec模型

from gensim.models import Word2Vec

model = Word2Vec(result_stop,        # 用于训练的语料数据
                 vector_size=100,    # 是指特征向量的维度，默认为100
                 window=5,           # 一个句子中单词和被预测单词的最大距离
                 min_count=1)        # 可以对字典做截断，词频少于min_count次数的单词会被丢弃，默认为5

三、模型应用

1.计算词汇相似度

我们可以使用similarity()计算两个词汇之间的余弦相似度

# 计算两个词的相似度
print(model.wv.similarity('沙瑞金', '季昌明'))
print(model.wv.similarity('沙瑞金', '田国富'))

0.99933577
0.99944884

# 选出最相似的5个词
for e in model.wv.most_similar(positive=['沙瑞金'], topn=5):
    print(e[0], e[1])

老 0.9998308420181274
对 0.9998250603675842
赵立春 0.9998083710670471
陈岩石 0.9997869729995728
才 0.9997787475585938

2.找出不匹配的词汇

使用doesnt_match()方法，我们可以找到一组词汇中与其他词汇不匹配的词汇

odd_word = model.wv.doesnt_match(["苹果","香蕉","橙子","书"])
print(f"在这组词汇中不匹配的词汇：{odd_word}")

在这组词汇中不匹配的词汇：书

3.计算词汇的词频

我们可以使用get_vecattr()方法获取词汇的词频

word_frequency = model.wv.get_vecattr("沙瑞金", "count")
print(f"沙瑞金：{word_frequency}")

沙瑞金：353

四、总结

本周主要学习了调用Gensim库训练Word2Vec模型，学习使用了similarity()方法计算两个词之间的余弦相似度，学习了doesnt_match()方法去找到一组词汇中与其他词不匹配的词，学习了通过get_vecattr()方法得到词汇的频率。

第N7周：调用Gensim库训练Word2Vec模型