如今神经网络在语言、数学和视觉等领域取得了令人瞩目的成果。然而，这些网络通常采用复杂的结构，运行起来资源密集。在资源有限的情况下，比如可穿戴设备和智能手机，将这些模型交付给用户可能是不切实际的。修剪预训练网络意味着删除其部分权重，同时确保其效用的减少对于降低推理成本来说是可以忽略不计的。典型神经网络中的每个权重都指定了两个神经元之间的连接。在减少后，输入将经过一个更易处理的链接子集，从而减少所需的处理时间。
CHITA（组合无海塞矩阵迭代阈值算法）框架是由麻省理工学院和谷歌的研究人员开发的一种用于大规模网络修剪的有效优化策略。该方法基于先前的研究，使用二阶海塞矩阵中的局部二次函数近似损失函数。与其他方法不同，他们利用了一个简单但关键的洞察力，使他们能够在不计算和存储海塞矩阵的情况下解决优化问题（因此在CHITA中称为“无海塞矩阵”），从而高效地处理大规模网络。
为了进一步减少回归重构，他们提出了一种使用主动集策略、改进的步长选择和其他技术来加速收敛到所选择支持的新方法。与稀疏学习文献中广泛使用的迭代硬阈值技术相比，该方法产生了显著的收益。该框架可以将具有420万个参数的网络稀疏化到20%。
以下是贡献的总结：
基于损失函数的局部二次近似，研究人员提出了CHITA，一种用于网络修剪的优化框架。
他们提出了一种受限稀疏回归重构，以消除存储大型稠密海塞矩阵的内存开销。
CHITA在获取稀疏回归高质量解的过程中，严重依赖于一种新颖的IHT方法。通过利用问题的结构，他们提供了加速收敛和提高修剪性能的解决方案，例如一种新颖且有效的步长选择策略以及对支持权重的快速更新。与标准网络修剪算法相比，这可以将性能提升一千倍。
研究人员还展示了模型和数据集性能的改进。
一种用于计算的高效修剪公式
通过仅保留原始网络中的一部分权重，可以得到各种修剪候选。设k表示用户设置的保留权重参数集。在所有可能的修剪候选中（即，仅保留k个权重的权重子集），选择损失最小的候选。这是将修剪视为最佳子集选择（BSS）问题的逻辑公式。
CHITA避免了显式计算海塞矩阵，同时利用了其所有信息，通过采用修剪问题的重新制定版本（带有二次损失的BSS）。这是通过利用经验费舍尔信息矩阵是低秩的事实而实现的。这种新形式可以被视为稀疏线性回归问题，其中网络中神经元的权重表示回归系数。
适应于良好缩放的优化算法
在不超过k个回归系数为零的稀疏性要求下，CHITA将修剪转化为线性回归问题。研究人员正在考虑调整流行的迭代硬阈值（IHT）技术来解决这个问题。在IHT的梯度下降更新后，所有不在Top-k（即具有最大幅度的k个系数）中的回归系数都被置零。在大多数情况下，IHT通过同时优化权重并迭代地检查可能的修剪选择来提供满意的答案。
总之，研究人员提出了CHITA，一种基于唯一的、无海塞矩阵约束回归公式和组合优化技术的网络修剪框架。单阶段方法在提高运行时间和内存利用率的同时，实现了与先前方法相当的结果。此外，多阶段策略可以提高模型的准确性，因为它是基于单阶段方法构建的。他们还展示了通过将修剪技术引入现有的逐步修剪框架中可以实现具有最先进准确性的稀疏网络。