深度学习技术的超参数调整
介绍
神经网络是依赖不同的输入参数来做出决策或预测的结构。一般来说,它试图模仿人脑神经元的操作行为,但有机神经元比人工神经网络更复杂。
一个单独的神经元被称为感知机,而多个神经元组成的网络被称为多层感知机或人工神经网络。
一个人工神经网络的预测基于以下步骤:
- 前向传播:数据从输入层到输出层的传递过程。
- 训练和反向传播:此过程使用输入数据,进行多个时期(epochs)的计算损失、更新权重和偏置等操作。
改进人工神经网络的方法
- 调整神经网络的超参数。
- 解决训练神经网络时出现的问题,如下所示:
- 梯度消失/爆炸
- 数据不足的问题
- 训练速度缓慢
- 过拟合
调整神经网络的超参数
- 隐藏层的数量:
- 神经网络使用隐藏层来检测数据中的复杂模式。我们必须决定是使用单个隐藏层还是多个隐藏层。例如,如果在复杂数据上构建单个隐藏层的网络,那么该隐藏层需要更多的神经元,并且该层也变得复杂。
- 一般来说,使用多个隐藏层,每个隐藏层中神经元数量较少,对于发现数据中的复杂结构更有用。在深度学习中,每个隐藏层都有其寻找模式的意义。第一个隐藏层发现线性模式,第二个隐藏层发现曲线模式,第三个隐藏层…