人工智能安全-2-非平衡数据处理(2)

5 算法层面

代价敏感：设置损失函数的权重，使得少数类判别错误的损失大于多数类判别错误的损失；
单类分类器方法：仅对少数类进行训练，例如运用SVM算法；
集成学习方法：即多个分类器，然后利用投票或者组合得到结果。

6 代价敏感算法

6.1 相关问题

经典分类方法一般假设各个类别的错分代价是相同的，并且以全局错分率最低为优化目标。
以入侵检测为例，“将入侵行为判别为正常行为的代价”与“将正常行为判别为入侵行为的代价”是不同的，前者会引起安全问题，后者只是影响了正常行为。

基于代价敏感学习分类方法以分类错误总代价最低为优化目标，能更加关注错误代价较高类别的样本，使得分类性能更加合理。

实现方法：

• 改变原始的数据分布来得到代价敏感的模型；
• 对分类的结果进行调整，以达到最小损失的目的；
• 直接构造一个代价敏感的学习模型。

代价矩阵：

• 错误分类造成的代价要大于正确分类所需要的代价，即 C 10 > C 11 C_{10} > C_{11} C10​>C11​、 C 01 > C 00 C_{01} > C_{00} C01​>C00​，通常情况下，可以设置 C 11 = C 00 = 0 C_{11} = C_{00} = 0 C11​=C00​=0， C 10 C_{10} C10​和 C 01 C_{01} C01​设置一个大于0的值；
• 在非平衡分类的代价敏感学习中，为了提高少数类样本的识别准确率，少数类的错分代价应当大于多数类的错分代价，假设这里的正类（1）是少数类，负类(0）是多数类，那么要求 C 10 > C 01 C_{10} > C_{01} C10​>C01​。

6.2 MetaCost算法(bagging)

具体步骤如下：

1. 在训练集中多次取样，生成多个模型；
2. 根据多个模型，得到训练集中每个样本属于每个类别的概率 P ( j ∣ x i ) P(j|x_i) P(j∣xi​)；
3. 计算训练集中每个样本属于每个类的代价 R ( x i ) R(x_i) R(xi​)，根据最小代价，修改类标签；
4. 训练修改过的数据集，得到新的模型。

6.3 代价敏感SVM

对SVM进行代价敏感学习改造的关键在于其惩罚因子 C C C，该参数的作用是表征每个样本在分类器构造过程中的重要程度。如果分类器认为某个样本对于其分类性能很重要，那么可以设置较大的值；反之，就设置较小的值。一般情况下， C C C的值不能太大，也不能太小。根据这个原理，对于不平衡分类而言，少数类样本应当具有更大的惩罚值，表示这些样本在决定分类器参数时很重要。因此，应用于非平衡数据分类，对SVM的最简单、最常见的扩展就是根据每个类别的重要性用 C C C值进行加权。权重的值可以根据类之间的不平衡比或单个实例复杂性因素来给出。

对于一个给定的训练数据集 ( ( x 1 ， y 1 ， ) ， … ， ( x n ， y n ) ) ((x_1，y_1，)，…，(x_n，y_n)) ((x1​，y1​，)，…，(xn​，yn​))，标准的非代价敏感支持向量机学习出一个决策边界：
f ( x ) = w T ϕ ( x ) + b f(x)=w^{T} \phi(x)+b f(x)=wTϕ(x)+b
普通SVM：
min ⁡ w , b , ξ 1 2 ∥ w ∥ 2 + C ∑ i ξ i  s.t.  y i ( w T x i + b ) ≥ 1 − ξ i \begin{array}{cl} \min _{w, b, \xi} & \frac{1}{2}\|w\|^{2}+C \sum_{i} \xi_{i} \\ \text { s.t. } & y_{i}\left(w^{T} x_{i}+b\right) \geq 1-\xi_{i} \end{array} minw,b,ξ​ s.t. ​21​∥w∥2+C∑i​ξi​yi​(wTxi​+b)≥1−ξi​​

偏置惩罚支持向量机(BP-SVM)：
min ⁡ w , b , ξ 1 2 ∥ w ∥ 2 + C [ C + ∑ i ∈ S + ξ i + C − ∑ i ∈ S − ξ i ]  s.t.  y i ( w T x i + b ) ≥ 1 − ξ i \begin{array}{ll} \min _{w, b, \xi} & \frac{1}{2}\|w\|^2+C\left[C_{+} \sum_{i \in S_{+}} \xi_i+C_{-} \sum_{i \in S_{-}} \xi_i\right] \\ \text { s.t. } & y_i\left(w^T x_i+b\right) \geq 1-\xi_i \end{array} minw,b,ξ​ s.t. ​21​∥w∥2+C[C+​∑i∈S+​​ξi​+C−​∑i∈S−​​ξi​]yi​(wTxi​+b)≥1−ξi​​
代价敏感教练损失支持向量机(CSHL-SVM)：
min ⁡ w , b , ξ 1 2 ∥ w ∥ 2 + C [ β ∑ i ∈ S + ξ i + λ ∑ i ∈ S − ξ i ]  s.t.  y i ( w T x i + b ) ≥ 1 − ξ i , i ∈ S + y i ( w T x i + b ) ≥ κ − ξ i , i ∈ S − \begin{array}{ll} \min _{w, b, \xi} & \frac{1}{2}\|w\|^2+C\left[\beta \sum_{i \in S_{+}} \xi_i+\lambda \sum_{i \in S_{-}} \xi_i\right] \\ \text { s.t. } & y_i\left(w^T x_i+b\right) \geq 1-\xi_i, \quad i \in S_{+} \\ & y_i\left(w^T x_i+b\right) \geq \kappa-\xi_i, \quad i \in S_{-} \end{array} minw,b,ξ​ s.t. ​21​∥w∥2+C[β∑i∈S+​​ξi​+λ∑i∈S−​​ξi​]yi​(wTxi​+b)≥1−ξi​,i∈S+​yi​(wTxi​+b)≥κ−ξi​,i∈S−​​

7 单分类器方法

密度估计法
基于聚类的方法
基于支持域的方法

7.1 SVM

单类支持向量机(OneclassSVM)
支持向量数据描述（Support Vector Data Description，SVDD）

当多数类中存在明显簇结构时，使用聚类方法获得聚类结构有利于提高多数类轮廓描述的精度。

8 集成学习的方法

典型的集成学习方法有

• Bagging
• Boosting
• Stacking
• SMOTEBagging
• SMOTEBoost

8.1 Bagging

Over Bagging：每次迭代时应用随机过采样在小类数据
Under Bagging：每次迭代时应用随机下采样在大类数据
SMOTEBagging：结合了SMOTE与bagging,先使用SMOTE生成更加全面的小类数据，然后应用bagging
Asymmetric bagging：每次迭代时，全部小类数据保留，从大类数据中分离一个与小类数据一样大的子集

8.2 Boosting

SMOTEBoost : 结合了SMOTE方法代替简单的增加小类观察点的权重
BalanceCascade : 是典型的双重集成算法，采用Bagging作为基本的集成学习方法，并在训练每个Boostrap数据时，使用AdaBoost作为分类算法。