Tag: Machine learning

随着技术的不断进步，人工智能成功地使计算机能够以类似于人类思维和学习的方式运作，模仿人脑的智慧。人工智能、机器学习和深度学习等领域的最新进展，已经在包括医疗保健、金融、教育等多个领域得到了提升。近来备受关注的大型语言模型展现了惊人的仿人能力。从问答和文本摘要到代码生成和代码补全，这些模型在各种任务上表现出色。 大型语言模型是通过一种名为强化学习的机器学习范式进行微调的。在强化学习中，智能体通过与周围环境的交互来学习决策能力。它通过在环境中的行为来最大化随时间累积的奖励信号。模型驱动的强化学习最近取得了进展，并在各种需要规划的场景中显示出希望。然而，这些成功仅限于完全可观察且确定的情况。 在最近的研究中，DeepMind的研究团队提出了一种利用矢量量化模型进行规划的新策略。这种方法旨在解决随机和部分可观察环境中的问题。该方法利用状态VQVAE（矢量量化变分自动编码器）和转移模型，将未来的观察编码为离散的潜在变量。这使得它能够适应随机或部分可观察的情境，实现对未来观察和未来行动的规划。 团队表示，这种方法中使用了离散自动编码器来捕捉随机情境中行动的各种可能结果。被称为自动编码器的神经网络设计接收输入数据，将其编码为潜在表示，然后将其解码回原始形式。利用离散自动编码器的方法使得在随机情境中代理行为引起的多种可能结果得以呈现。 为了在此类情境中更容易进行规划，团队使用了蒙特卡洛树搜索的随机变体。蒙特卡洛树搜索是计划和决策过程中常用的一种方法。在此情况下，随机变体允许考虑环境的不确定性。除了代理的行动，规划过程中还包括表示环境可能响应的离散潜在变量。这种全面的方法旨在捕捉部分可观测性和随机性带来的复杂性。 团队对该方法进行了评估，结果表明在一种随机解释的国际象棋中，该方法击败了著名的强化学习系统MuZero的离线变体。从这个角度来看，对手引入了不确定性，并被视为环境的一个重要组成部分。通过DeepMind Lab对该方法的有效实施证明了其可扩展性。这种方法在这种情景中观察到的有利结果证明了它在处理复杂动态环境中的灵活性和有效性。 总之，这种基于模型的强化学习技术扩展了在部分可观察、随机环境中的完全可观察、确定性环境中的有效性。离散自动编码器和随机蒙特卡洛树搜索版本展示了对不确定环境所带来困难的复杂理解，提高了实际应用中的性能。

麦克马斯特大学和FAIR Meta的研究人员开发了一种新的机器学习（ML）技术，用于无轨道密度泛函理论（OF-DFT）。这种ML方法优化了总能量函数，并成功地复制了各种化学系统中的电子密度。该方法已被应用于模拟锂氢化物、氢气和水分子，并通过优化拉普拉斯算符和解决哈特里和外势泛函函数来提高准确性的内存有效的梯度优化方法。 目前存在计算分子电子能量的方法，比如传统的Kohn-Sham密度泛函理论（KS-DFT），它依赖于分子轨道。然而，一个被开发出来的未经探索的方法叫做OF-DFT，它利用电子密度来最小化一个点，更适用于复杂的系统。 OF-DFT是一种以电子密度为中心的量子化学和凝聚态物理的计算方法，相对于KS-DFT在大系统中具有优势。它通过电子密度最小化来确定基态性质，符合Hohenberg-Kohn定理。它采用了一种独特的方法，使用归一化流载体来参数化和优化电子密度，成功地复制了多样的化学系统。 OF-DFT中优化总能量函数的提议方法涉及使用归一化流载体来参数化各种化学系统中的电子密度。这是通过使用神经网络解决普通微分方程来连续归一化流变换电子密度实现的。基于梯度的算法用于总能量优化，而蒙特卡罗采样用于相关量。此外，在OF-DFT中还采用了一种内存高效梯度优化方法，用于解决拉普拉斯算符以及与哈特里和外势泛函相关的问题。 该方法成功地模拟了二原子分子，尤其是LiH，并对氢气和水分子进行了广泛的模拟。该模型准确地复制了各种化学系统中的电子密度，在H2和H2O分子的优化过程中展示了密度和势能面的变化。与使用STO-3G基组的Hartree-Fock模型进行比较分析表明，在连续归一化流模型中核周围的密度更高。密度泛函值在整个优化过程中使用指数移动平均值进行计算。 总之，利用连续归一化流进行密度变换的OF-DFT方法是一种有前景的无限制解决方案，用于准确描述不同化学系统中的电子密度和势能面。它能够复制核周围的高密度，如通过LiH、氢气和水分子的研究所示，突显了进一步改进和应用的潜力。 OF-DFT电子结构计算的未来工作可能涉及： 改进电子密度的归一化流载体。 将连续归一化流方法扩展到更复杂的化学系统中。 进行比较分析以评估CNF模型的准确性。 将CNF模型与其他机器学习技术整合，以提高效率和精度。

“`html 在人工智能领域，尤其是大型语言模型的引入，最近取得了许多发展，为几乎所有领域铺平了AI的道路。ChatGPT和Stable Diffusion等基础模型具有显著的泛化能力。然而，由于参数数量的增加，从头开始训练这些模型是一个挑战。 微调模型的方法非常简单，因为它不涉及任何额外的推理延迟。然而，传统微调技术难以理想地维护权重矩阵的关系信息，这些技术具有较低的学习速率。研究人员一直在研究正交微调（OFT）技术，该技术通过使用相同正交矩阵对同一层中的神经元进行转换，在微调过程中保持神经元之间的成对角度。虽然这种技术具有很大的潜力，但也存在同样的局限性，即正交矩阵的高维度导致了庞大的可训练参数数量。 为了解决这个挑战，一组研究人员提出了正交蝴蝶（BOFT）方法，这是一种独特且最新的方法，解决了正交微调中的参数效率问题。BOFT受到Cooley-Tukey快速傅里叶变换技术中蝴蝶结构的启发，通过将其与许多分解稀疏矩阵组装在一起，生成稠密的正交矩阵。为了将正交矩阵表示为稀疏矩阵的乘积，需要以计算时间为代价来节省空间。 研究团队指出，通过将其比作一个网格结构图上的信息传输问题，可以理解这种技术，这使得可以使用多种保持表达能力的稀疏矩阵分解技术，同时限制可训练参数的数量。BOFT受到了Cooley-Tukey方法的蝴蝶图的启发，其主要创新在于蝴蝶分解过程。 借助这种分解，可以创建一个含有O(log d)个稀疏矩阵的稠密矩阵，每个稀疏矩阵具有O(d)个非零元素。BOFT可以通过保证每个稀疏矩阵的正交性，以O(d log d)的参数数量提供高效的正交参数化，从而显著减少了原始OFT参数化的数量。BOFT提供了一个通用的正交微调框架，并包含OFT。 研究团队将BOFT与OFT中的块对角结构进行了比较，并且已经证明为了降低有效可训练参数，BOFT和OFT都给正交矩阵增加了稀疏性。但对于下游应用，BOFT的蝴蝶结构提供了正交群矩阵和单位矩阵之间更平滑的插值的较小假设类别。为了强调低秩矩阵和稀疏矩阵都是实现参数效率的结构化矩阵的家族，该结构化方法已与LoRA中的低秩结构进行了比较。 研究人员总结了他们的主要贡献如下： 研究了正交微调中参数效率的问题，以提高大型模型对下游任务的适应性。 引入了一种用于信息传输的新框架，将构建参数高效稠密正交矩阵的挑战转化为网格结构图内的问题。 引入了一种参数效率的正交微调方法-正交蝴蝶（BOFT）。 讨论了矩阵分解以及BOFT为什么能够显著降低可训练参数，同时保持表达能力和训练稳定性的理论解释。 BOFT在适应应用中表现出色，表明其具有卓越的参数效率和泛化能力，优于目前的技术水平。 “`

Translate this html (keep the html code in the result) to Chinese: 高效地在延长序列中进行推理是机器学习中的主要难题。最近，卷积已经成为序列建模的关键原始，支持语言建模、时间序列分析、计算机视觉、DNA建模等领域的最新性能。尽管有这些令人印象深刻的质量发现和其他优势，如随着序列长度增加的改进稳定性和更好的可扩展性，卷积序列模型仍然比Transformer模型慢得多。 一个主要原因是硬件支持不稳定。与视觉应用中使用的短滤波器相比，序列建模中的卷积经常使用与输入序列长度一样长的滤波器。快速傅里叶变换（FFT）卷积算法通过映射输入和输出频率来计算输入u和卷积核k之间的卷积。 尽管渐近有效，但FFT卷积算法在现代加速器上的计时效果较低。然而，系统技术的进步使得Transformer模型能够达到当前加速器的极限，在使用FlashAttention-v2时，端到端FLOP使用率超过72%。 为了提供更长的上下文能力，斯坦福大学的一项新研究调查了如何在现代加速器上优化FFT卷积方法。研究人员认为，随着FlashAttention等系统的进步，导致了更好的模型和新的注意力算法，优化FFT卷积将会产生新的更好的算法，提升卷积序列模型的质量。 FFT卷积可以很容易地优化短序列。常见的做法是在多个批次中重复使用卷积核滤波器，这使得可以在重复使用之前预先计算滤波器的FFT。因此，FFT卷积在批次和滤波器之间是并行的，并且内核融合允许将中间卷积输出缓存在静态随机存取存储器（SRAM）或寄存器中。 然而，团队指出，随着序列长度的增加，出现了两个主要瓶颈。就当前加速器而言，FFT卷积不会充分利用专用矩阵-矩阵乘法单元。 其次，随着序列变得过长而无法适应SRAM，内核融合失败，需要进行昂贵的输入/输出操作。用于因果关系的填充操作以及从实值输入/输出转换为复值FFT中间结果可能进一步增加这些I/O成本。 为此，研究人员提出了一种名为FlashFFTConv的新算法，该算法采用了FFT的Monarch分解，以优化针对长序列的FFT卷积。通过p阶Monarch分解，FFT可以通过一系列p个矩阵-矩阵乘法操作有效地传输到硬件中。较大的p值由于较小的矩阵而导致更少的FLOP成本，但需要更多的I/O来传递中间结果。因此，涉及到权衡。 该研究演示了如何基于序列长度使用简单的成本模型来优化FLOP成本和I/O成本，在GPU上优化p。除了在更长的序列长度上促进内核融合之外，该分解还减少了必须在SRAM中维护的序列的数量。因此，FlashFFTConv可以轻松处理从256个字符到400万个字符的序列。通过使用实值FFT算法并在输入进行零填充时跳过部分矩阵-乘法操作，FlashFFTConv可以将FFT操作的长度减少多达一半。最后但并非最不重要的是，FFT卷积的矩阵视图为实施两个架构修改提供了简单的界面：偏差卷积和频率稀疏卷积。这两种方法可以简单地通过省略矩阵分解的部分来实现，从而降低内存占用和计时运行时间，并可以看作是Transformer中稀疏/近似注意力的卷积并行。 研究人员证明了FlashFFTConv加速了FFT卷积，从而实现了更好的质量、更高效和更长的序列模型。 通过更好的效率，FlashFFTConv提高了卷积序列模型的质量：在相同的计算预算下，FlashFFTConv使Hyena-GPT-s的困惑度提高了2.3个点，并使M2-BERT-base的平均GLUE分数提高了3.3个，性能提升相当于模型参数加倍。 与PyTorch相比，FlashFFTConv在卷积效率方面提高了高达7.93倍，并在内存节省方面提高了高达5.60倍，而且这种高效性在序列长度上可以达到四个数量级。对于长度为2K及以上的序列，FlashFFTConv在计时效果上快于FlashAttention-v2端到端，原因是FLOP成本更低，并且实现了高达62.3%的端到端FLOP使用率，仅比FlashAttention-v2少10%。 FlashFFTConv使更长序列的模型成为可能。FlashFFTConv生成的模型是唯一能够完成长阶竞技场基准的Path-512作业（序列长度为256K）的模型，用于高分辨率图片分类。FlashFFTConv是第一个以单核苷酸分辨率嵌入最长人类基因（长达230万个碱基对）的模型；通过部分卷积，它将HyenaDNA扩展到4M的序列长度。…