【传知代码】私人订制词云图-论文复现

文章目录

• 概述
• 原理介绍
• 核心逻辑
• 技巧
• 环境配置/部署方式
• 小结

本文涉及的源码可从私人订制词云图该文章下方附件获取

概述

词云图（Word Cloud）是一种文本数据的可视化表示方法，它通过将文本中每个单词的大小与其在文本中出现的频率或重要性相关联，从而以视觉方式展示文本数据的关键信息。词云图在数据分析、文本挖掘、社交媒体分析等领域中广泛应用，因为它能够直观地展示大量文本数据中的主题、关键词或情感倾向。

原理介绍

词云图（Word Cloud）的原理可以清晰地分为以下几个步骤，这些步骤共同协作，以生成一种可视化的文本数据表示方式：

1. 分词
   • 词云图的第一步是将输入的文本数据划分为一个个单独的词语。这个过程通常被称为分词，它涉及到将连续的文本字符串拆分成单独的词汇单元。
2. 统计词频
   • 在分词完成后，词云图生成工具会统计每个词语在文本中出现的次数。这个步骤是确定词语在词云图中重要性的关键，因为词频高的词语通常会被视为更重要或更相关的。
3. 去除停用词
   • 停用词是指那些出现频率高但通常不带有实际意义的词语，如“的”、“了”等。为了提高词云图的质量，这些词语通常会被从词频统计中去除，以便更准确地反映文本的主题。
4. 去除重复词语
   • 如果文本中存在多个相同的词语，词云图生成工具通常只会计算它们的一次出现。这是为了确保词频统计的准确性，避免重复计数。
5. 计算权重
   • 根据词语在文本中出现的频率，词云图生成工具会计算每个词语的权重。这个过程可能会使用到不同的算法，如TF-IDF（词频逆文档频率）算法，以更准确地反映词语在文本中的重要性。
6. 显示词云
   • 在计算完词语的权重后，词云图生成工具会将这些词语按照其权重进行排列和分布，形成词云图。在这个过程中，词语的大小、颜色等视觉元素通常会被用来表示其权重，即出现频率高或重要性大的词语会显得更大、更突出。

核心逻辑

以python为例，主要使用的库

import wordcloud #词云库
import jieba #分词工具

1、选取需要解析的txt文档

text_file_path = "./《山海经》先秦白话文版.txt"

也可以从解析某个网站数据（本文是以txt文本为例，没有采取下面代码方式）

# 从网站获取文本内容
url = "https://baidu.com"
response = requests.get(url)
response.encoding = 'utf-8'  # 设置编码，确保正确处理中文字符
html_content = response.text

# 使用BeautifulSoup解析HTML，提取文本内容
soup = BeautifulSoup(html_content, "html.parser")
text_data = soup.get_text()

2、选取背景图明确形状

background_image_path = "./心.png" # 地图.png

3、配置停用词

# 设置停用词
#wordcloud库允你排除一些词汇，这样它们就不会出现在词云图中。你可以使用 stopwords 参数来指定要排除的词汇。
def load_stopwords(file_path):
    with open(file_path, "r", encoding="gb18030") as file:
        return set(file.read().splitlines())

stopwords_path = "./stopwords.txt"
stopwords = load_stopwords(stopwords_path)
# 添加额外的停用词
stopwords.update(["注释", "译文", "这座", "名称", "很多", "名曰", "之山", "一种"])

4、创建分词词典，主要解决新的网络热词、专有名词等不识别问题

# 加载词典（分词的时候不拆开，比如‘山海经’不应该被拆成‘山’、‘海’、‘经’等）
# 主要用于定义一些专有名词
jieba.load_userdict('山海经异兽_22个.txt')
jieba.add_word('山海经')
jieba.add_word('先秦')

技巧

所有技巧（坑）都在演示视频里面逐一演示，注意避坑。

1、中文乱码问题，使用的时候指定使用的文字字体

font_path = ("./simsun.ttc") #指定字体，否则可能会中文乱码

2、更换背景图

需要选择透明背景色的，有的白底的图，肉眼看起来没问题，但是程序却认为整张图片是一个形状，比如下面的图就不行（出来的词云图是外框矩形）：

而这张图就可以：

3、词库下载以及格式转换方式

词库搜索下载地址

现在下来后的格式是.scel的，需要转换成txt
转换地址

4、jieba的快速说明

# -*- coding: utf-8 -*-
import jieba

seg_str = "好好学习，天天向上。"

print("/".join(jieba.lcut(seg_str))) # 精简模式，返回一个列表类型的结果
print("/".join(jieba.lcut(seg_str, cut_all=True))) # 全模式，使用 'cut_all=True' 指定 
print("/".join(jieba.lcut_for_search(seg_str))) # 搜索引擎模式

结果:

好好学习/，/天天向上/。
好好/好好学/好好学习/好学/学习/，/天天/天天向上/向上/。
好好/好学/学习/好好学/好好学习/，/天天/向上/天天向上/。

5、支持自定义文字颜色

colormaps = mpl.colormaps['tab10'] # tab20
# 也支持自定义文字颜色
# colormaps = colors.ListedColormap(['#FF0000','#FF7F50','#FFE4C4'])

环境配置/部署方式

python wordsCloud.py

小结

词云图的一些主要特点：

1. 可视化效果：词云图以图像的形式呈现文本数据，使得人们能够直观地看到文本中的主要词汇和它们之间的关系。通过颜色、大小、字体等视觉元素，词云图能够突出显示重要的词汇，帮助用户快速理解文本的核心内容。
2. 频率或重要性表示：在词云图中，每个单词的大小通常与其在文本中出现的频率或重要性成正比。这意味着出现频率高或重要性大的词汇在词云图中会显得更大、更突出。这种表示方式有助于用户快速识别文本中的关键信息。
3. 自定义程度高：词云图具有很高的自定义程度，用户可以根据需要调整词汇的颜色、大小、字体等属性，以及选择特定的词汇过滤条件，从而生成符合自己需求的词云图。
4. 支持多种文本数据源：词云图可以处理来自各种文本数据源的数据，包括社交媒体帖子、新闻报道、用户评论、书籍、文章等。这使得词云图在各个领域都有广泛的应用前景。
5. 揭示文本主题：通过词云图，用户可以快速了解文本的主题和关键词。例如，在社交媒体分析中，词云图可以帮助用户了解用户讨论的热点话题和关键词；在新闻报道分析中，词云图可以帮助用户了解新闻的主要内容和情感倾向。
6. 局限性：虽然词云图具有很多优点，但也存在一些局限性。例如，词云图通常只能展示文本中的词汇信息，而无法展示词汇之间的语法关系或上下文信息。此外，词云图对于某些特定的文本数据可能不太适用，例如诗歌、散文等文学作品。

词云图是一种非常有用的文本数据可视化工具，它能够帮助用户快速了解文本的主要内容和关键词，揭示文本的主题和情感倾向。在实际应用中，用户可以根据需要选择合适的词云图生成工具和数据源，以生成符合自己需求的词云图。