Month: November 2023

苏黎世联邦理工学院的研究人员探索了深度Transformer设计的简化方法，旨在使其更稳健高效。他们通过结合信号传播理论和实证观察，提出了一些修改，使得标准Transformer块中的各种组件可以被移除而不影响训练速度或性能呈现。 该研究主要针对深度神经网络中Transformer块的简化进行了探讨，特别关注了标准Transformer块。通过借鉴信号传播理论，研究探索了相同构建块的排列方式，其中包括了带有跳跃连接和标准化层的注意力和MLP子块。同时，该研究还引入了并行块的概念，以实现MLP和注意力子块的并行计算，提高了效率。 该研究着重考察了深度神经网络中Transformer块的简化问题，特别关注标准Transformer块内各组件的必要性，并探索了在不影响训练速度的情况下是否能够将其移除。简化的动机源于现代神经网络架构的复杂性以及深度学习在理论和实践之间的差距。 该研究通过结合信号传播理论和实证观察，提出了简化Transformer块的修改方案。通过在自回归解码器和BERT编码器模型上进行实验，评估了简化Transformer的性能。研究还进行了额外的实验和遗漏分析，探究了在注意力子块中去除跳跃连接对信号退化的影响。 该研究提出了简化Transformer块的修改方案，包括去除跳跃连接、投影/值参数、顺序子块和标准化层。这些修改能够保持标准Transformer的训练速度和性能，并同时实现更快的训练吞吐量和更少的参数利用。该研究还探究了不同初始化方法对简化Transformer性能的影响。 简化Transformer块取得了与标准Transformer相当的性能，同时减少了15%的参数使用量，并提高了15%的训练吞吐量。该研究提出了能够降低大规模Transformer模型成本的简化深度学习架构。实验结果支持了这些简化修改在各种设置下的有效性，并强调了适当的初始化对于获得最佳结果的重要性。 建议未来的研究是探索这些简化修改对于更大型的Transformer模型的效果，因为本研究主要集中在相对较小的模型上。同时，建议进行全面的超参数搜索，以提高简化块的性能，因为本研究只调整了关键超参数并依赖了默认选择。研究还提出了探索硬件特定实现的简化块，以进一步提高训练速度和性能的潜力。

理解动物大脑中错综复杂的神经网络一直是科学家们的一大挑战，特别是在研究像阿尔茨海默病这样的疾病时。传统方法可能会更快更便宜。 在SmartEM之前，科学家们使用普通显微镜，但是捕捉到大脑的细节需要很长时间。SmartEM由麻省理工学院和哈佛大学的研究人员开发，将强大的电子显微镜与人工智能（AI）相结合。SmartEM在拍摄图像的同时学习大脑。它像一个助手一样帮助快速检查和理解大脑的微小部分，如突触和神经元。 SmartEM不仅仅是一台相机；它智能地操作，就像我们看事物时的眼睛一样，专注于重要的事物。研究人员在显微镜上添加了特殊的计算机芯片（GPU），使AI可以决定在哪里仔细观察。这帮助显微镜在具有挑战性的区域花费更多时间，就像我们的眼睛在看脸或阅读书籍时专注于重要细节。 为了展示其能力，SmartEM在一节章鱼大脑上进行了工作。它拍摄了这些薄片的图像，并将其重构为详细的3D地图。这张地图帮助科学家了解大脑的不同部分如何连接，就像弄清楚一个庞大的朋友圈中的联系一样。使用SmartEM，以往需要常规方法花费两周的任务现在只需要1.5天。 SmartEM团队的目标是使大脑研究更快速和更具成本效益。他们希望有一天，来自不同地方的更多科学家可以加入大脑研究而无需巨额预算。他们还希望使用SmartEM通过检查患者脑样本中的微小细节来研究疾病。目标是快速了解大脑中发生的情况，以进行更高效的医院病理学研究。 总之，SmartEM是一种将电子显微镜与人工智能相结合的强大工具，可以帮助科学家更高效地探索我们大脑的奥秘。在此帮助下，研究人员希望揭示我们大脑工作的秘密并找到对抗影响其功能的疾病的方法。

通过使用动态形状优化机器学习模型，可以实现更好的性能和灵活性。动态形状是指模型在运行时处理具有不同尺寸输入数据的能力。用户可以使用支持动态计算图的框架，例如TensorFlow的即时执行或PyTorch来构建能够在运行时适应可变输入尺寸的模型。 优化具有动态形状的机器学习模型面临许多挑战，因为许多传统优化依赖于静态形状分析。动态尺寸的缺失信息可能会对跨运算符和函数执行的优化产生重大影响。具有动态形状的模型需要处理不同的批处理大小。在生产环境中，为不同的批处理大小进行优化比为固定批处理大小进行优化更具挑战性。 当前的机器学习（ML）编译器通常将程序转换为传统的单次转换流程，一次应用一种优化，通常将程序重写为较低级别的表示。这种方法经常导致在抽象层之间丢失形状和附加信息，使跨边界进行增量优化变得更加困难。 研究人员提出了名为Relax的编译器抽象。它具有一流的符号形状注释，可以全局追踪程序中的动态形状计算。它还具有跨级别抽象，将计算图、循环级张量程序和库调用封装在单个表示中，以实现跨级别的优化。它是一个优化动态形状模型的端到端编译框架。 研究人员采用正向推理方法，根据其输入组件推断表达式的注释。正向推理简单且局部化，编译器可以在各个步骤中为临时变量获取注释。此外，当无法自动推断形状时，正向推理可以使用用户插入的匹配转换的结果来继续推断后续注释。 研究人员表示，Relax中的所有优化都是可组合的动态形状感知转换。它通过不同的方法增量优化或部分降低计算的部分。它考虑来自其他级别的分析并结合了假设动态形状关系的进一步优化。 实验结果表明，Relax将新兴的LLM编译并优化到不同的硬件后端，性能竞争力与经过大量优化的平台特定解决方案相当。此外，Relax通过WebAssembly和WebGPU支持广泛的设备和环境中的LLM，包括手机、嵌入式设备和Web浏览器。

在深度学习中，Transformer神经网络因其在各个领域（尤其是自然语言处理、计算机视觉、机器人和自动驾驶等新兴应用）中的有效性而受到了广泛关注。然而，虽然提高了性能，但这些模型的规模不断增加导致计算成本和推理延迟大大增加。关键的挑战在于如何在不带来不切实际的计算负担的情况下利用大型模型的优势。 当前的深度学习模型，特别是Transformer模型，在不同领域取得了显著进展。然而，由于不断增长的计算需求，这些模型的可扩展性通常需要进一步提高。之前的努力，如Switch Transformer、Expert Choice和V-MoE等基于稀疏混合模型的尝试，主要集中在高效扩展网络参数、减轻每个输入的计算量。然而，现有研究中存在一个关于令牌表示维度本身扩展的空白。AltUp是一种新颖的方法，旨在填补这一空白。 AltUp通过提供一种增强令牌表示而不增加计算开销的方法而脱颖而出。该方法巧妙地将扩展的表示向量分成相等大小的块，在每个层只处理一个块。AltUp的有效性关键在于其预测校正机制，使得对未处理的块的输出进行推断。通过保持模型维度并避免直接扩展导致的计算量的二次增加，AltUp成为解决大型Transformer网络带来的计算挑战的有希望的解决方案。 AltUp的机制深入探讨了令牌嵌入的复杂性以及如何在不触发计算复杂性激增的情况下扩展它们。该方法包括： 调用一个宽度为1x的Transformer层进行一个块。 称为“活动”块。 同时使用一个轻量级的预测器。 该预测器计算所有输入块的加权组合，并通过轻量级校正器对预测值和活动块的计算值进行校正。该校正机制可以根据活动块对未激活块进行更新。重要的是，预测和校正步骤仅涉及最少的向量加法和乘法，比传统Transformer层要快得多。 对于T5模型在基准语言任务上的AltUp评估显示了其在相同准确性下优于稠密模型的一致能力。值得注意的是，使用AltUp增强的T5 Large模型在GLUE、SuperGLUE、SQuAD和Trivia-QA基准测试上分别实现了27%、39%、87%和29%的显著加速。当应用于较大的模型时，AltUp的相对性能改进更加明显，突显了其在模型尺寸增加时的可扩展性和增强效果。 总之，AltUp成为高效扩展Transformer神经网络长期挑战的值得注意的解决方案。它在不增加计算成本的同时增强令牌表示的能力，在各种应用中具有重要的潜力。AltUp的创新方法，以其分割和预测校正机制为特征，为利用大型模型的好处而不会遭受不切实际的计算需求提供了一种实用的方式。 研究人员对AltUp的扩展，称为Recycled-AltUp，进一步展示了所提出方法的适应性。Recycled-AltUp通过复制嵌入而不是扩展最初的标记嵌入，展示了在不引入可感知的减速的情况下，在预训练性能上严格改进。这种双重方法与AltUp与MoE等其他技术的无缝集成相结合，展示了其多功能性，并为未来研究探索训练和模型性能的动态开辟了道路。 AltUp标志着对Transformer网络高效扩展之探索的突破，为模型大小和计算效率之间的权衡提供了一个引人注目的解决方案。正如本文所概述的，研究团队的贡献是使大规模Transformer模型在各种应用中更易于访问和实用的一个重要步骤。