一. 前言
由于最近有一个邮件分类的工作需要完成，研究了一下基于SVM的垃圾邮件分类模型。参照这位作者的思路（https://blog.csdn.net/qq_40186809/article/details/88354825），使用trec06c这个公开的垃圾邮件语料库（https://plg.uwaterloo.ca/~gvcormac/treccorpus06/）作为数据进行建模。并对代码进行优化，提升训练速度。
工作过程如下：
1,数据预处理，提取每一封邮件的内容，进行分词，数据清洗。
2,选取特征，将邮件内容转换为特征向量。
3,使用sklearn建立SVM模型。
4,代码调整及优化。
二.数据预处理
trec06c这个数据集的数据比较特殊，由215个文件夹组成，每个文件夹下方包含300个编码为GBK的邮件文件，都为原始邮件数据。共21766个正样本，42854个负样本，其样本的正负性由文件夹下的index文件所标识。下方就是一个垃圾邮件（负样本）的示例：
首先按照自己的需要，将index文件进行处理，控制正负样本的数量比例持平，得到新的索引文件CN_index_ham、CN_index_spam，其内容为邮件的相对位置索引：
经过观察，各邮件文件的前半部分为其收发、通信的基本信息，后半部分才是邮件的具体内容，两部分之间以一个空行进行间隔。因此邮件预处理的思路为按行读取整个邮件，搜索其第一个空行，并将该空行之后的每一行内容进行记录、分词、筛选停用词等操作。
在预处理过程中还需解决以下2个小问题：
①编码问题，虽然说文件确定是GBK编码格式，但仍有部分奇奇怪怪的字符无法正确解码，因此使用try操作将readline()操作进行包裹，遇到编码有问题的内容直接读取下一行。
②由于问题①使用try操作，在except中直接continue，使得在读取邮件内容时，如果邮件最后一行的编码有问题，直接continue进入下一次循环，而下一次循环已到文件末尾，没有东西可读，程序会反复进行readline()操作并跳入except，陷入无限循环。为解决这个问题，设置一个tag，在每进行一次except操作时，将此tag += 1，如果连续循环20次仍无新内容读入，则结束文件读取。
该部分代码如下。
1 #coding:utf-8 2 import jieba 3 import pandas as pd 4 import numpy as np 5 6 from sklearn.feature_extraction.text import CountVectorizer 7 from sklearn.svm import SVC 8 from sklearn.model_selection import train_test_split 9 from sklearn.externals import joblib 10 11 path_list_spam = [] 12 with open('./data/CN_index_spam','r',encoding='utf-8') as fin: 13 for line in fin.readlines(): 14 path_list_spam.append(line.strip()) 15 16 path_list_ham = [] 17 with open('./data/CN_index_ham','r',encoding='utf-8') as fin: 18 for line in fin.readlines(): 19 path_list_ham.append(line.strip()) 20 21 stopWords = [] 22 with open('./data/CN_stopWord','r',encoding='utf-8') as fin: 23 for i in fin.readlines(): 24 stopWords.append(i.strip()) 25 26 # 定义一些超参数 27 MAX_EMAIL_LENGTH = 200 #最长邮件长度 28 THRESHOLD = len(path_list_ham)/50 # 超过这么多次的词汇，入选dict 29 30 path_list_spam = path_list_spam[:5000] # 将正例、负例样本取子集，先各取5000个做实验 31 path_list_ham = path_list_ham[:5000] 32 # 下方定义数值类字符串检验函数 ，预处理时需要将数值信息清洗掉 33 def is_number(s): 34 try: 35 float(s) 36 return True 37 except ValueError: 38 pass 39 try: 40 import unicodedata 41 unicodedata.numeric(s) 42 return True 43 except (TypeError, ValueError): 44 pass 45 return False
上方代码完成了读取正例、负例样本序列，读取停用词-stopword的工作。并且定义了两个超参数，MAX_EMAIL_LENGTH为邮件读取词汇最差长度，这里设为200，避免读取到2/3千字的超长邮件，占据过大内存；THRESHOLD是特征词入选阈值，如当THRESHOLD=20时，某个词汇在超过20封邮件中出现过，则将它列为特征词之一。定义is_number()函数来判断某个字符串是否为数字，以便于将其清洗出去。
1 def email_cut(path_list): 2 emali_str_list = [] 3 for i in range(len(path_list)): 4 print('====== ',i,' =======') 5 print(path_list[i]) 6 with open(path_list[i],'r',encoding='gbk') as fin: 7 words = [] 8 begin_tag = 0 9 wrong_tag = 0 10 while(True): 11 if wrong_tag > 20 or len(words)>MAX_EMAIL_LENGTH: 12 break 13 try: 14 line = fin.readline() 15 wrong_tag = 0 16 except: 17 wrong_tag += 1 18 continue 19 if (not line): 20 break 21 if(begin_tag == 0): 22 if(line=='\n'): 23 begin_tag = 1 24 continue 25 else: 26 l = jieba.cut(line.strip()) 27 ll = list(l) 28 for word in ll: 29 if word not in stopWords and word != '\n' and word != '\t' and word != ' ' and not is_number(word): # 30 words.append(word) 31 if len(words)>MAX_EMAIL_LENGTH: # 一封email最大词汇量设置 32 break 33 wordStr = ' '.join(words) 34 emali_str_list.append(wordStr) 35 return emali_str_list
上方函数email_cut() 的输入参数为 path_list_ham 以及 path_list_spam，该函数根据这些邮件的path地址，将其信息按行进行读取，并使用jieba进行分词，清洗掉转义字符以及数值类字符串，最终将所有邮件的数据存入 emali_str_list 进行返回。
三.特征选取
在这一步中，使用 sklearn 中的 CountVectorizer 类辅助。统计所有邮件数据中出现的词汇，并对这些词汇进行筛选，选出现次数出大于 THRESHOLD 的部分，组成词汇表，并对邮件文本数据进行转换，以向量形式表示。
1 def textToMatrix(text): 2 cv = CountVectorizer() 3 cv.fit(text) 4 vocabulary = cv.vocabulary_ 5 vector = cv.transform(text) 6 result = pd.DataFrame(vector.toarray()) 7 del(vector) # 及时删除以节省内存空间 8 features = []# 储存特征值 9 for key, value in vocabulary.items(): # key, value 示例 '孔子'， 23772 即 词汇,字符串 的形式 10 if result[value].sum() >= THRESHOLD: 11 features.append(key) # 加入词汇表 12 result.rename(columns={value:key}, inplace=True) # 本来的列名是索引值value，现在改成key ('孔子'、'后人'、'家乡' ..等词汇) 13 return result[features] # 缩减特征矩阵规模，仅将特征词汇表中的列留下
在上方函数中，使用CountVectorizer()将邮件内容（即包含n条字符串的List，每个字符串代表一封邮件）进行统计，获取词汇列表，并将邮件内容进行转换，转换成一个稀疏矩阵，该邮件没有出现过的词汇索引下方对应的值为0，出现过的词汇索引下方对应的值为该词在本邮件中出现过的次数。在for循环中，查看词汇在所有邮件中出现的次数是否大于THRESHOLD ，如大于，则将该位置的列首索引替换为该词汇本身(key为词汇，value为词语本身)，最后对大的邮件特征矩阵进行精简，仅留下特征词所属的列进行返回。最终返回的结果大概是下面这种样式：
最上方一行汉语词汇为特征词汇，下面每一行数据代表一封Email的内容，其数值代表对应词汇在这个Email中的出现次数。可以看出，SVM不能对语句的顺序关系进行学习，不同的Email内容可能对应着同样的特征向量结果。例如：“我想要吃大苹果” 与“吃苹果想要大我” 对应的特征向量是一模一样的。不过一般来讲问题不大，毕竟研表究明，汉字的序顺并不能影阅响读嘛。
四.建立SVM模型
最后，使用sklearn的SVC模块对所有邮件的特征向量进行建模训练。
1 ham_str_all = email_cut(path_list_ham) 2 spam_str_all = email_cut(path_list_spam) 3 allWord = [] 4 allWord.extend(ham_str_all) 5 allWord.extend(spam_str_all) 6 labels = []#标签 7 labels.extend(np.ones(len(path_list_ham))) 8 labels.extend(np.zeros(len(path_list_spam))) 9 vector = textToMatrix(allWord)#获取特征向量 10 print(vector) 11 feature = list(vector.columns) 12 print("feature length: ",len(feature)) 13 with open('./model/CN_features.txt', 'w', encoding="UTF-8") as f: 14 s = ' '.join(feature) 15 f.write(s) 16 svm = SVC(kernel='linear', C=0.5, random_state=0) # 线性核，C的值较小时可以允许一些错误 可选核： 'linear', 'poly', 'rbf', 'sigmoid', 'precomputed' 17 # 将数据分成测试集和训练集 18 X_train, X_test, y_train, y_test = train_test_split(vector, labels, test_size=0.3, random_state=0) 19 svm.fit(X_train, y_train) 20 print(svm.score(X_test, y_test)) 21 model = joblib.dump(svm,'./model/svm_model.m')
首先是读取正例邮件和反例邮件，并生成其对应的label序列，将邮件转化为由特征向量组成的matrix（在本例中，特征词汇正好有256个，也就是说特征向量的维度为256），保存特征词汇，使用SVC模块建立SVM模型，分离训练集与测试集，拟合训练，对测试集进行计算评分后保存模型。
五.代码调整及优化
整个实践建模的过程其实到上面已经结束了，但在实际使用的过程中，发现有下面2个问题。
①训练速度极慢，5000个正样本+5000个负样本需要训练2个小时。这完全不是svm的训练速度，而是神经网络的训练速度了。在参考的那篇博客中，作者（Ning_wxh）也提到，他的机器只能各取600个正样本/反样本进行训练，再多机器就受不了了。
②内存消耗太大，我电脑16GB的内存都被占满，不停的从虚拟内存中进行数据交换。下图内存占用图中，周期型的锯齿状波动表明了实体内存在与虚拟内存作交换。
先说第②个问题。这个问题通过设置 MAX_EMAIL_LENGTH(邮件最大词汇数目) 和 增加 THRESHOLD 的值来实现的。设置邮件最大词汇数目为200，避免将几千字的Email内容全部读入；而最开始的THRESHOLD值设置为10，最终的特征向量维度为900+，特征向量过于稀疏，便将THRESHOLD设置为样本总数的50分之1，即100，将维度降为256。此外在textToMatrix()函数中，将vector变量及时删除，清空内存开销。这3个步骤，在正/负样本数量都为5000时，将内存消耗控制在10GB以下。
再说第①个问题。经过不停的锚点调试，发现时间消耗最大的一步语句是textToMatrix()函数中的： result.rename(columns={value:key}, inplace=True) 语句。这条语句的意思是将pd.DataFrame的某列列名进行替换，由value替换为key。由于我们的原始词汇较多，导致有40000多列数据，定位value列的过程开销较大，导致较大的时间开销。原因已经找到，解决这个问题的思路由两个：一是对列名构建索引，以便快速定位；二是重新构建一个新的pd.DataFrame数据表，将改名操作批量进行。
这里选择第二种思路，就是空间换时间嘛，重写textToMatrix()函数如下：
1 def textToMatrix(text): 2 cv = CountVectorizer() 3 cv.fit(text) 4 vocabulary = cv.vocabulary_ 5 vector = cv.transform(text) 6 result = pd.DataFrame(vector.toarray()) 7 del(vector) 8 features = []# 储存特征值 9 origin_data = np.zeros((len(result),1)) # 新建的数据表 10 for key, value in vocabulary.items(): 11 if result[value].sum() >= THRESHOLD: 12 features.append(key) 13 origin_data = np.column_stack((origin_data,np.array(result[value]))) # 按列堆叠到新数据表 14 origin_data = origin_data[:,1:] # 删掉初始化的第一列全0数据 15 print('origin_data shape: ',origin_data.shape) 16 origin_data = pd.DataFrame(origin_data) # 转换为DataFrame对象 17 origin_data.columns = features # 批量修改列名 18 print('features length: ',len(features)) 19 return origin_data
最终，仅耗时2分钟便完成SVM模型的训练，比优化代码之前速度提高了60倍。在测试集上的预测精度为0.93666，即93.6%的准确率，也算是比较实用了。