352 search results for "计算机视觉"

Translate this html (keep the html code in the result) to Chinese: 高效地在延长序列中进行推理是机器学习中的主要难题。最近，卷积已经成为序列建模的关键原始，支持语言建模、时间序列分析、计算机视觉、DNA建模等领域的最新性能。尽管有这些令人印象深刻的质量发现和其他优势，如随着序列长度增加的改进稳定性和更好的可扩展性，卷积序列模型仍然比Transformer模型慢得多。 一个主要原因是硬件支持不稳定。与视觉应用中使用的短滤波器相比，序列建模中的卷积经常使用与输入序列长度一样长的滤波器。快速傅里叶变换（FFT）卷积算法通过映射输入和输出频率来计算输入u和卷积核k之间的卷积。 尽管渐近有效，但FFT卷积算法在现代加速器上的计时效果较低。然而，系统技术的进步使得Transformer模型能够达到当前加速器的极限，在使用FlashAttention-v2时，端到端FLOP使用率超过72%。 为了提供更长的上下文能力，斯坦福大学的一项新研究调查了如何在现代加速器上优化FFT卷积方法。研究人员认为，随着FlashAttention等系统的进步，导致了更好的模型和新的注意力算法，优化FFT卷积将会产生新的更好的算法，提升卷积序列模型的质量。 FFT卷积可以很容易地优化短序列。常见的做法是在多个批次中重复使用卷积核滤波器，这使得可以在重复使用之前预先计算滤波器的FFT。因此，FFT卷积在批次和滤波器之间是并行的，并且内核融合允许将中间卷积输出缓存在静态随机存取存储器（SRAM）或寄存器中。 然而，团队指出，随着序列长度的增加，出现了两个主要瓶颈。就当前加速器而言，FFT卷积不会充分利用专用矩阵-矩阵乘法单元。 其次，随着序列变得过长而无法适应SRAM，内核融合失败，需要进行昂贵的输入/输出操作。用于因果关系的填充操作以及从实值输入/输出转换为复值FFT中间结果可能进一步增加这些I/O成本。 为此，研究人员提出了一种名为FlashFFTConv的新算法，该算法采用了FFT的Monarch分解，以优化针对长序列的FFT卷积。通过p阶Monarch分解，FFT可以通过一系列p个矩阵-矩阵乘法操作有效地传输到硬件中。较大的p值由于较小的矩阵而导致更少的FLOP成本，但需要更多的I/O来传递中间结果。因此，涉及到权衡。 该研究演示了如何基于序列长度使用简单的成本模型来优化FLOP成本和I/O成本，在GPU上优化p。除了在更长的序列长度上促进内核融合之外，该分解还减少了必须在SRAM中维护的序列的数量。因此，FlashFFTConv可以轻松处理从256个字符到400万个字符的序列。通过使用实值FFT算法并在输入进行零填充时跳过部分矩阵-乘法操作，FlashFFTConv可以将FFT操作的长度减少多达一半。最后但并非最不重要的是，FFT卷积的矩阵视图为实施两个架构修改提供了简单的界面：偏差卷积和频率稀疏卷积。这两种方法可以简单地通过省略矩阵分解的部分来实现，从而降低内存占用和计时运行时间，并可以看作是Transformer中稀疏/近似注意力的卷积并行。 研究人员证明了FlashFFTConv加速了FFT卷积，从而实现了更好的质量、更高效和更长的序列模型。 通过更好的效率，FlashFFTConv提高了卷积序列模型的质量：在相同的计算预算下，FlashFFTConv使Hyena-GPT-s的困惑度提高了2.3个点，并使M2-BERT-base的平均GLUE分数提高了3.3个，性能提升相当于模型参数加倍。 与PyTorch相比，FlashFFTConv在卷积效率方面提高了高达7.93倍，并在内存节省方面提高了高达5.60倍，而且这种高效性在序列长度上可以达到四个数量级。对于长度为2K及以上的序列，FlashFFTConv在计时效果上快于FlashAttention-v2端到端，原因是FLOP成本更低，并且实现了高达62.3%的端到端FLOP使用率，仅比FlashAttention-v2少10%。 FlashFFTConv使更长序列的模型成为可能。FlashFFTConv生成的模型是唯一能够完成长阶竞技场基准的Path-512作业（序列长度为256K）的模型，用于高分辨率图片分类。FlashFFTConv是第一个以单核苷酸分辨率嵌入最长人类基因（长达230万个碱基对）的模型；通过部分卷积，它将HyenaDNA扩展到4M的序列长度。…

在深度学习中，Transformer神经网络因其在各个领域（尤其是自然语言处理、计算机视觉、机器人和自动驾驶等新兴应用）中的有效性而受到了广泛关注。然而，虽然提高了性能，但这些模型的规模不断增加导致计算成本和推理延迟大大增加。关键的挑战在于如何在不带来不切实际的计算负担的情况下利用大型模型的优势。 当前的深度学习模型，特别是Transformer模型，在不同领域取得了显著进展。然而，由于不断增长的计算需求，这些模型的可扩展性通常需要进一步提高。之前的努力，如Switch Transformer、Expert Choice和V-MoE等基于稀疏混合模型的尝试，主要集中在高效扩展网络参数、减轻每个输入的计算量。然而，现有研究中存在一个关于令牌表示维度本身扩展的空白。AltUp是一种新颖的方法，旨在填补这一空白。 AltUp通过提供一种增强令牌表示而不增加计算开销的方法而脱颖而出。该方法巧妙地将扩展的表示向量分成相等大小的块，在每个层只处理一个块。AltUp的有效性关键在于其预测校正机制，使得对未处理的块的输出进行推断。通过保持模型维度并避免直接扩展导致的计算量的二次增加，AltUp成为解决大型Transformer网络带来的计算挑战的有希望的解决方案。 AltUp的机制深入探讨了令牌嵌入的复杂性以及如何在不触发计算复杂性激增的情况下扩展它们。该方法包括： 调用一个宽度为1x的Transformer层进行一个块。 称为“活动”块。 同时使用一个轻量级的预测器。 该预测器计算所有输入块的加权组合，并通过轻量级校正器对预测值和活动块的计算值进行校正。该校正机制可以根据活动块对未激活块进行更新。重要的是，预测和校正步骤仅涉及最少的向量加法和乘法，比传统Transformer层要快得多。 对于T5模型在基准语言任务上的AltUp评估显示了其在相同准确性下优于稠密模型的一致能力。值得注意的是，使用AltUp增强的T5 Large模型在GLUE、SuperGLUE、SQuAD和Trivia-QA基准测试上分别实现了27%、39%、87%和29%的显著加速。当应用于较大的模型时，AltUp的相对性能改进更加明显，突显了其在模型尺寸增加时的可扩展性和增强效果。 总之，AltUp成为高效扩展Transformer神经网络长期挑战的值得注意的解决方案。它在不增加计算成本的同时增强令牌表示的能力，在各种应用中具有重要的潜力。AltUp的创新方法，以其分割和预测校正机制为特征，为利用大型模型的好处而不会遭受不切实际的计算需求提供了一种实用的方式。 研究人员对AltUp的扩展，称为Recycled-AltUp，进一步展示了所提出方法的适应性。Recycled-AltUp通过复制嵌入而不是扩展最初的标记嵌入，展示了在不引入可感知的减速的情况下，在预训练性能上严格改进。这种双重方法与AltUp与MoE等其他技术的无缝集成相结合，展示了其多功能性，并为未来研究探索训练和模型性能的动态开辟了道路。 AltUp标志着对Transformer网络高效扩展之探索的突破，为模型大小和计算效率之间的权衡提供了一个引人注目的解决方案。正如本文所概述的，研究团队的贡献是使大规模Transformer模型在各种应用中更易于访问和实用的一个重要步骤。