“`
由于人工智能和深度学习在领域的进步，许多新的创新成为可能。借助神经网络的帮助，如文本或图像合成，分割和分类等复杂任务得到了成功处理。然而，由于计算需求的原因，神经网络训练可能需要几天甚至几周来获得充分的结果。预训练模型的推理有时也很慢，特别对于复杂的设计。
并行化技术可以加快深度神经网络的训练和推理。尽管这些方法被广泛使用，但神经网络中的某些操作仍然是按顺序进行的。扩散模型通过一系列去噪阶段生成输出，正向和反向传递逐层进行。随着步骤数的增加，这些过程的顺序执行变得计算代价高昂，可能导致计算瓶颈。
为了解决这个问题，苹果公司的研究人员提出了DeepPCR，一种独特的算法，旨在加快神经网络的训练和推理。DeepPCR通过将一系列L个步骤视为一组方程的答案来执行。该团队采用了并行循环消减（PCR）算法来提取此解决方案。将顺序处理的计算成本从O（L）降低到O（log2 L）是DeepPCR的主要优势。减少复杂性后的速度加快，尤其是对于高值的情况。
团队进行了实验，以验证关于DeepPCR降低复杂性的理论断言，并确定加速的条件。通过将DeepPCR应用于多层感知机的前向传递和后向传递并行化，他们实现了前向传递速度提升30倍，后向传递速度提升200倍。
团队还通过使用DeepPCR来训练具有1024层的ResNets展示了DeepPCR的适应性。由于DeepPCR的使用，训练速度可以提高多达7倍。该技术用于扩散模型的生成阶段，相比顺序方法，生成速度提高了11倍。
团队总结了他们的主要贡献如下：
- 引入了DeepPCR，这是一种创新的方法，用于并行化神经网络的序列处理，其主要特点是能够将计算复杂性从O（L）降低到O（log2 L），其中L是序列长度。
- 使用DeepPCR并行化多层感知机（MLP）的前向传递和后向传递。对技术性能进行了全面分析，同时考虑了基本设计参数，以确定方法的高性能区域。该研究还调查了速度，解决方案的正确性和内存使用之间的权衡。
- 使用DeepPCR加速了在MNIST上训练的深度ResNet和在MNIST、CIFAR-10和CelebA数据集上训练的扩散模型的生成。结果表明，尽管DeepPCR显示了显着的加速，对于ResNet的训练速度提高了7倍，对于扩散模型的生成速度提高了11倍，但仍产生与顺序技术相媲美的结果。
“`