Congruency in Machine Learning)

1 INTRODUCTION

引入 congruency 来量化用于更新的新信息与从先前迭代中学到的知识之间的一致性计算机视觉——day48 方向集中学习:增强机器学习中的一致性-LMLPHP

Fig. 1,显著性预测任务中的一致性说明。
以顺序方式提供训练样本,会出现不一致的情况

  1. S_ j 代表样本
  2. w_ i 是时间步长 i 的权重
  3. Δwi 是 Sj 对 wi 生成的权重更新
  4. 箭头代表模型的更新

4 METHODOLOGY

4.1 Overview

Fig. 2,使用提出的DCL模块进行模型训练计算机视觉——day48 方向集中学习:增强机器学习中的一致性-LMLPHP

  1. 首先给出训练样本(I,y),其中IImageyground-truth
  2. 从图像中提取出的特征 x 经过分类器,计算出预测值y^
  3. loss function的导数 g,与传统的用作优化器确定Δw,以逐层向后传播错误的方式不同;在提出的DCL方法中,g 用来估计一个与以前的更新一致的校正梯度g^~

4.2 Direction Concentration Learning

4.3 Theoretical Lower Bound

Fig. 4,给定螺旋收敛路径,为了自适应地产生收敛到最小值的适当的累积梯度,定义了一个有效窗口来定期更新引用计算机视觉——day48 方向集中学习:增强机器学习中的一致性-LMLPHP

4.5 Effect of DCL

计算机视觉——day48 方向集中学习:增强机器学习中的一致性-LMLPHP

Fig. 5,用三种流行的优化器对收敛路径进行了可视化比较,结果表明本文提出的DCL方法鼓励收敛路径尽可能平直

6 ANALYSIS

6.1 Validity of Congruency Metric

Fig. 7,一致性度量的有效性,Cong表示有效性,Sim对应余弦相似性,特别的,第四个实验中样本图像和测试图像之间的一致性为负数,一个原因是室内外陈设的区别,照明等视觉现象可能是造成这种差异的另一个因素计算机视觉——day48 方向集中学习:增强机器学习中的一致性-LMLPHP

10-29 15:15