深度学习常见的是对于梯度的优化，也就是说，优化器最后其实就是各种对于梯度下降算法的优化。 理论部分可以见斯坦福深度学习的课程。这里推荐一个博客，总结了这些优化器的原理以及性能，写的挺好的：An overview of gradient descent optimazation algorithms
从其中讲几个比较常用的，其他的可以自己去看文档。官方文档：Training
常用的optimizer类
tf.train.Optimizer
优化器（optimizers）类的基类。这个类定义了在训练模型的时候添加一个操作的API。你基本上不会直接使用这个类，但是你会用到他的子类比如GradientDescentOptimizer, AdagradOptimizer, MomentumOptimizer.等等这些。
tf.train.AdamOptimizer
此函数是Adam优化算法：是一个寻找全局最优点的优化算法，引入了二次方梯度校正。
相比于基础SGD算法，1.不容易陷于局部优点。2.速度更快
tf.train.GradientDescentOptimizer
这个类是实现梯度下降算法的优化器。(结合理论可以看到，这个构造函数需要的一个学习率就行了)
作用：创建一个梯度下降优化器对象
参数：
- learning_rate: A Tensor or a floating point value. 要使用的学习率
- use_locking: 要是True的话，就对于更新操作（update operations.）使用锁
- name: 名字，可选，默认是”GradientDescent”.
tf.train.AdadeltaOptimizer
实现了 Adadelta算法的优化器，可以算是下面的Adagrad算法改进版本
作用：构造一个使用Adadelta算法的优化器
参数：
- learning_rate: tensor或者浮点数，学习率
- rho: tensor或者浮点数. The decay rate.
- epsilon: A Tensor or a floating point value. A constant epsilon used to better conditioning the grad update.
- use_locking: If True use locks for update operations.
- name: 【可选】这个操作的名字，默认是”Adadelta”
参考：https://blog.csdn.net/zj360202/article/details/70263110
https://blog.csdn.net/xierhacker/article/details/53174558