深度学习技术的超参数调整
介绍
神经网络是依赖不同的输入参数来做出决策或预测的结构。一般来说，它试图模仿人脑神经元的操作行为，但有机神经元比人工神经网络更复杂。
一个单独的神经元被称为感知机，而多个神经元组成的网络被称为多层感知机或人工神经网络。
一个人工神经网络的预测基于以下步骤：
- 前向传播：数据从输入层到输出层的传递过程。
- 训练和反向传播：此过程使用输入数据，进行多个时期（epochs）的计算损失、更新权重和偏置等操作。
改进人工神经网络的方法
- 调整神经网络的超参数。
- 解决训练神经网络时出现的问题，如下所示：
- 梯度消失/爆炸
- 数据不足的问题
- 训练速度缓慢
- 过拟合
调整神经网络的超参数
- 隐藏层的数量：
- 神经网络使用隐藏层来检测数据中的复杂模式。我们必须决定是使用单个隐藏层还是多个隐藏层。例如，如果在复杂数据上构建单个隐藏层的网络，那么该隐藏层需要更多的神经元，并且该层也变得复杂。
- 一般来说，使用多个隐藏层，每个隐藏层中神经元数量较少，对于发现数据中的复杂结构更有用。在深度学习中，每个隐藏层都有其寻找模式的意义。第一个隐藏层发现线性模式，第二个隐藏层发现曲线模式，第三个隐藏层…