苏黎世联邦理工学院的研究人员探索了深度Transformer设计的简化方法，旨在使其更稳健高效。他们通过结合信号传播理论和实证观察，提出了一些修改，使得标准Transformer块中的各种组件可以被移除而不影响训练速度或性能呈现。
该研究主要针对深度神经网络中Transformer块的简化进行了探讨，特别关注了标准Transformer块。通过借鉴信号传播理论，研究探索了相同构建块的排列方式，其中包括了带有跳跃连接和标准化层的注意力和MLP子块。同时，该研究还引入了并行块的概念，以实现MLP和注意力子块的并行计算，提高了效率。
该研究着重考察了深度神经网络中Transformer块的简化问题，特别关注标准Transformer块内各组件的必要性，并探索了在不影响训练速度的情况下是否能够将其移除。简化的动机源于现代神经网络架构的复杂性以及深度学习在理论和实践之间的差距。
该研究通过结合信号传播理论和实证观察，提出了简化Transformer块的修改方案。通过在自回归解码器和BERT编码器模型上进行实验，评估了简化Transformer的性能。研究还进行了额外的实验和遗漏分析，探究了在注意力子块中去除跳跃连接对信号退化的影响。
该研究提出了简化Transformer块的修改方案，包括去除跳跃连接、投影/值参数、顺序子块和标准化层。这些修改能够保持标准Transformer的训练速度和性能，并同时实现更快的训练吞吐量和更少的参数利用。该研究还探究了不同初始化方法对简化Transformer性能的影响。
简化Transformer块取得了与标准Transformer相当的性能，同时减少了15%的参数使用量，并提高了15%的训练吞吐量。该研究提出了能够降低大规模Transformer模型成本的简化深度学习架构。实验结果支持了这些简化修改在各种设置下的有效性，并强调了适当的初始化对于获得最佳结果的重要性。
建议未来的研究是探索这些简化修改对于更大型的Transformer模型的效果，因为本研究主要集中在相对较小的模型上。同时，建议进行全面的超参数搜索，以提高简化块的性能，因为本研究只调整了关键超参数并依赖了默认选择。研究还提出了探索硬件特定实现的简化块，以进一步提高训练速度和性能的潜力。