在IJCAI 于2015年举办的竞赛:Repeat Buyers Prediction Competition 中,
很多参赛队伍在最终的Slides展示中都表示使用了 AUC 作为评估指标
 
机器学习性能度量指标:AUC-LMLPHP  机器学习性能度量指标:AUC-LMLPHP

那么,AUC是什么呢?
AUC是一个机器学习性能度量指标,只能用于二分类模型的评价。(拓展二分类模型的其他评价指标:logloss、accuracy、precision)
 
对于二分类问题,可将样例根据其真实类别与学习器预测类别的组合划分为真正例(true positive)、假正例(false positive)、真反例(true negative)、假反例(false negative)四种情形,令 TP、FP、TN、FN分别表示其对应的样例数,则显然有 TP+FP+TN+FN=样例总数。
分类结果的“混淆矩阵”(confusion matrix)如下表所示:
机器学习性能度量指标:AUC-LMLPHP

AUC全称:Area under ROC curve
 
AUC的物理意义为任取一对例和负例,正例得分大于负例得分的概率,AUC越大,表明方法效果越好。
 
ROC全称为“受试者工作特征”(Receiver Operating Characteristic )曲线,源于二战中用于敌机检测的雷达信号分析技术。根据学习器的预测结果对样例进行排序,按此顺序逐个把样本作为正例进行预测,每次计算出两个重要量的值,分别以它们为横、纵坐标作图,就得到了“ROC”曲线,纵轴是“真正例率”(True Positive Rate,TPR),横轴是“假正例率”(False Positive Rate,FPR):
机器学习性能度量指标:AUC-LMLPHP

机器学习性能度量指标:AUC-LMLPHP

机器学习性能度量指标:AUC-LMLPHP

机器学习性能度量指标:AUC-LMLPHP

机器学习性能度量指标:AUC-LMLPHP

机器学习性能度量指标:AUC-LMLPHP

 
 

IJCAI-15比赛相关:
 
IJCAI-15 Dataset 数据集来自天猫(阿里云天池)。
 
论文名称:Identifying Repeat Buyers by Ensemble Learning with Historical Behavioral Features
作者:Shaohua jiang, Yunlei Mu, Qingyu Fan
会议期刊:IJCAI workshop
 
 
【Reference】
1. 周志华.机器学习[M].北京:清华大学出版社,2016.
 
05-15 09:07