Direction Concentration Learning: Enhancing Congruency in Machine Learning
Congruency in Machine Learning)
1 INTRODUCTION
引入 congruency 来量化用于更新的新信息与从先前迭代中学到的知识之间的一致性
Fig. 1,显著性预测任务中的一致性说明。
以顺序方式提供训练样本,会出现不一致的情况
- S_ j 代表样本
- w_ i 是时间步长 i 的权重
- Δwi 是 Sj 对 wi 生成的权重更新
- 箭头代表模型的更新
4 METHODOLOGY
4.1 Overview
Fig. 2,使用提出的DCL模块进行模型训练
- 首先给出训练样本(I,y),其中I是Image,y是ground-truth
- 从图像中提取出的特征 x 经过分类器,计算出预测值y^
- loss function的导数 g,与传统的用作优化器确定Δw,以逐层向后传播错误的方式不同;在提出的DCL方法中,g 用来估计一个与以前的更新一致的校正梯度g^~
4.2 Direction Concentration Learning
4.3 Theoretical Lower Bound
Fig. 4,给定螺旋收敛路径,为了自适应地产生收敛到最小值的适当的累积梯度,定义了一个有效窗口来定期更新引用
4.5 Effect of DCL
Fig. 5,用三种流行的优化器对收敛路径进行了可视化比较,结果表明本文提出的DCL方法鼓励收敛路径尽可能平直
6 ANALYSIS
6.1 Validity of Congruency Metric
Fig. 7,一致性度量的有效性,Cong表示有效性,Sim对应余弦相似性,特别的,第四个实验中样本图像和测试图像之间的一致性为负数,一个原因是室内外陈设的区别,照明等视觉现象可能是造成这种差异的另一个因素