Month: October 2023

大型语言模型（LLMs）如ChatGPT和Llama因其出色的自然语言处理能力而受到广泛关注，能够实现从文本生成到代码完成等各种应用。尽管它们的效用巨大，但这些模型的高运营成本也带来了重大挑战，促使研究人员寻求创新解决方案以增强其效率和可扩展性。 由于生成单个响应的平均成本为0.01美元，将这些模型扩展以为数十亿用户提供服务，每个用户每天进行多次互动，相关费用可能迅速变得巨大。这些成本尤其在复杂任务（如代码自动完成）中可能呈指数级增长，在编码过程中，模型一直处于运行状态。鉴于对优化解码过程的迫切需求，研究人员已探索了一些技术，以简化和加速注意力操作，这是生成连贯和上下文相关文本的重要组成部分。 LLM的推理，通常称为解码，涉及一次一步生成令牌，其中注意力操作是决定整体生成时间的重要因素。尽管像FlashAttention v2和FasterTransformer这样的进展优化了训练过程，通过优化内存带宽和计算资源，但在推理阶段仍存在挑战。在解码过程中遇到的主要限制之一与较长的上下文相关联的注意力操作的可扩展性有关。随着越来越多的LLM任务处理更广泛的文档、对话和代码库，注意力操作可能消耗大量的推理时间，从而影响模型的整体效率。 研究人员提出了一种突破性技术，称为Flash-Decoding，以解决这些挑战，借鉴以前的方法的基础。Flash-Decoding的关键创新在于其并行化方法，它以关键字和值的序列长度为中心。通过将关键字和值分割为较小的片段，该方法即使在较小批量大小和较长上下文的情况下，也能高效利用GPU。Flash-Decoding通过利用并行化的注意力计算和对数求和指数函数，大大减少了GPU内存需求，促进了整个模型架构的流畅和高效计算。 为了评估Flash-Decoding的有效性，对最先进的CodeLLaMa-34b模型进行了全面的基准测试，该模型以其强大的架构和先进的功能而闻名。结果显示，与现有方法相比，对于较长序列，解码速度提高了8倍。此外，对不同序列长度和批量大小的缩放多头注意力进行的微基准测试进一步验证了Flash-Decoding的有效性，即使将序列长度扩展到64k，也展示了其稳定的性能。这种出色的性能在显著提高LLM的效率和可扩展性方面起到了重要作用，标志着大型语言模型推理技术的重大进展。 总之，Flash-Decoding已成为解决大型语言模型解码过程中注意力操作相关挑战的变革性解决方案。通过优化GPU利用率和提高整体模型性能，Flash-Decoding有潜力大幅降低运营成本，并促进这些模型在各种应用中的更广泛使用。这种开创性技术代表了大型语言模型推理领域的重要里程碑，为提高自然语言处理技术的效率和加速进步铺平了道路。

路径规划是在环境地图中从初始点到目标点找到一条经济有效且有效的路径的过程。搜索型规划方法，包括著名的A*搜索，被广泛应用于解决路径规划挑战。这些技术已在包括自动驾驶和机器人臂操作在内的各个领域找到了应用。 最近的研究突出了数据驱动路径规划在两个特定场景中的重要优势。 第一个场景涉及在点对点最短路径搜索问题中相对于传统启发式规划器更高效地发现近似最优路径。 第二个场景是对原始图像输入进行路径规划。在没有对环境进行语义像素级标注的情况下，传统规划器很难完成这一任务。 在这项研究中，作者将传统的A*搜索算法进行了重新定义，并将其与卷积编码器结合，创建了一个完全可训练的端到端神经网络规划器。这种方法被称为神经A*，通过将给定的问题实例转化为一个引导地图，然后基于该地图进行可微分的A*搜索，解决路径规划问题。 上面的图像展示了神经A*的两种路径规划场景。 点对点最短路径搜索：在输入地图中找到一个近似最优路径（红色），并进行较少的节点探索（绿色）。 基于原始图像输入的路径规划：在自然图像上准确预测人类轨迹（红色）。 通过学习使搜索结果与专家提供的地面真实路径相对齐的过程，神经A*可以生成准确且高效地遵循地面真实路径的路径。 该图示了神经A*的框图： (1) 一个路径规划问题实例被输入编码器来产生一个引导地图。 (2) 可微分的A*模块使用引导地图进行点对点最短路径搜索，并输出搜索历史和结果路径。 (3) 搜索历史和地面真实路径之间的损失被反向传播以训练编码器。 全面的实验结果表明，神经A*超越了最先进的数据驱动规划器，在搜索最优性和效率之间取得了有利的平衡。此外，神经A*已经展示了将基于搜索的规划直接应用于自然图像上预测真实人类轨迹的能力。