如何超越“香草”梯度下降算法来提高训练
背景
在我上一篇文章中，我们讨论了如何通过超参数调整来提高神经网络的性能：
超参数调整：神经网络 101
如何通过调整超参数来改善神经网络的“学习”和“训练”
towardsdatascience.com
这是一个过程，通过“调整”最佳超参数，如学习率和隐藏层数量，来找到对我们的网络性能最优的超参数。
不幸的是，针对大规模深度神经网络（深度学习），这种调整过程非常缓慢。改善这一点的方法之一是使用比传统的“香草”梯度下降方法更快的优化器。在本文中，我们将深入探讨最流行的优化器和梯度下降的变体，以及它们如何增强训练速度和收敛性，并在 PyTorch 中进行比较！
如果你喜欢这篇文章，请确保订阅我的 YouTube 频道！
点击链接观看以可消化方式教授核心数据科学概念的视频教程！
Egor Howell
目前居住在伦敦的数据科学家。我分享数据科学教程、建议和一般技术话题！与我联系…
www.youtube.com
回顾：梯度下降
在深入讨论之前，让我们快速复习一下梯度下降和其理论知识。
梯度下降的目标是通过减去参数相对于损失函数的梯度（偏导数）来更新模型的参数。学习率α用于调节此过程，以确保参数的更新在合理范围内进行，并且不会超过或低于最优值。
- θ 是模型的参数。