jieba库的安装见上篇:Python学习-8.库(第三方库介绍与下载安装)

jieba库概述

Python学习-8.2.1 库(jieba库的基础与实例-中文分词库)-LMLPHP
由于中文文本中的单词不像英文那样,并不是根据空格或者标点符号进行分割的,而是存在一个重要的分词问题。因此引入了jieba库。

  • 分词原理:利用一个中文词库,将待分的内容与分词词库进行对比,通过图结构和动态规划方法找到最大概率的词组。除了分词,jieba还提供增加自定义中文单词的功能。

jieba库的使用

和标准库一样,第三方库jieba需要import使用。当在解释器中输入import 库名时,解释器会自动在该项目目录下寻找库名.py文件,若找不到,会在安装目录下指定的第三方库目录内寻找。

jieba库提供了三种分词模式
①精确模式:jieba.lcut(s),最常用的中文分词函数,可以将句子最精确地分开,即将字符串分割成等量的中文词组,返回结果是列表类型,适合文本分析。
精确模式是根据每个词组组合的概率进行返回,只返回概率最大的词组。

import jieba
print(jieba.lcut('由于中文文本中的单词不像英文那样,不是根据空格或者标点符号进行分割的'))
--输出
['由于', '中文', '文本', '中', '的', '单词', '不像', '英文', '那样', ',', '不是', '根据', '空格', '或者', '标点符号', '进行', '分割', '的']

②全模式:jieba.lcut(s,cut_all=True),与精准模式命名一样,多了一个cut_all参数。可以将句子中所有可以成词的语句都扫描出来,速度非常快,但是不能够解决歧义问题。
全模式会返回字符串的所有分词结果,返回结果是列表型,冗余最大。

import jieba
print(jieba.lcut('由于中文文本中的单词不像英文那样,不是根据空格或者标点符号进行分割的',cut_all=True))
--输出
['由于', '中文', '文文', '文本', '中', '的', '单词', '不', '像', '英文', '那样', ',', '不是', '根据', '空格', '或者', '标点', '标点符号', '符号', '进行', '分割', '的']#返回了“文文”这种词组

③搜索引擎模式:jieba.lcut_for_search(s),该模式首先执行精确模式,然后对其中长词进一步切分获得最终结果,提高召回率,适合用于搜索引擎分词。

import jieba
print(jieba.lcut_for_search('由于中文文本中的单词不像英文那样,不是根据空格或者标点符号进行分割的'))
--输出
['由于', '中文', '文本', '中', '的', '单词', '不像', '英文', '那样', ',', '不是', '根据', '空格', '或者', '标点', '符号', '标点符号', '进行', '分割', '的']#标点符号为长词,进一步拆分

jieba词库内容的自定义

使用add_word(s)函数可添加自定义内容

import jieba
print(jieba.lcut('利用厌疾医生',cut_all=True))
--输出
['利用', '厌', '疾', '医生']#“厌”“疾”为两个词

#添加词汇
import jieba
jieba.add_word('厌疾')
print(jieba.lcut('利用厌疾医生',cut_all=True))
--输出
['利用', '厌疾', '医生']#“厌疾”识别为一个词
12-08 10:49