1632 search results for "机器学习"

大型语言模型（LLMs）如ChatGPT在自然语言处理领域取得了巨大的革命性进展，展示了他们在各种语言相关任务中的能力。然而，这些模型面临着一个关键问题——自回归解码过程，其中每个标记都需要进行完整的前向通行。这种计算瓶颈在拥有庞大参数集的LLMs中尤为明显，在实时应用中产生了障碍，并给具有受限GPU能力的用户带来了挑战。 来自Vector Institute、滑铁卢大学和北京大学的研究人员介绍了EAGLE（Extrapolation Algorithm for Greater Language-Model Efficiency），以应对LLM解码中固有的挑战。与Medusa和Lookahead等传统方法有所不同，EAGLE采取了一种独特的方法，专注于对第二层顶层上下文特征向量的外推。与前辈们不同，EAGLE努力高效地预测后续特征向量，为文本生成提供了显著加速的突破。 EAGLE方法的核心是部署了一种轻量级插件——FeatExtrapolator。这个插件与原始LLM的冻结嵌入层一起进行训练，根据第二顶层的当前特征序列预测下一个特征。EAGLE的理论基础建立在特征向量随时间的可压缩性上，为加快标记生成铺平了道路。值得注意的是，EAGLE具有出色的性能指标；与普通解码相比，它的速度提高了三倍，比Lookahead快了一倍，并且相对于Medusa加速了1.6倍。最为关键的是，它保持了与普通解码一致性，确保了生成文本分布的保持。 https://sites.google.com/view/eagle-llm EAGLE的能力远不止于加速。它可以在标准GPU上进行训练和测试，使更广泛的用户群体能够使用。它与各种并行技术的无缝集成增加了其应用的灵活性，进一步巩固了它作为高效语言模型解码工具包中宝贵的补充的地位。 考虑到该方法对FeatExtrapolator的依赖，这是一个轻量级但功能强大的工具，与原始LLM的冻结嵌入层合作。这种合作根据第二顶层的当前特征序列预测下一个特征。EAGLE的理论基础根植于特征向量随时间的可压缩性，为更流畅的标记生成过程提供了途径。 https://sites.google.com/view/eagle-llm 传统的解码方法需要对每个标记进行完整的前向通行，而EAGLE的特征级外推提供了一个新的解决方案。研究团队的理论探索最终形成了一种方法，不仅显著加速了文本生成，而且保持了生成文本的分布的完整性——这是维护语言模型输出质量和连贯性的关键因素。 https://sites.google.com/view/eagle-llm 总结起来，EAGLE在解决LLM解码长期存在的低效问题上脱颖而出。通过巧妙地解决自回归生成的核心问题，EAGLE的研究团队提出了一种不仅能大幅加速文本生成，而且能保持分布一致性的方法。在实时自然语言处理需求激增的时代，EAGLE的创新方法使其成为前沿技术的领跑者，填补了尖端技术能力与实际应用之间的鸿沟。

变换图是当你以不同角度观察或翻转它们时会改变外观的图像。创造这样的视觉错觉通常需要理解并欺骗我们的视觉感知。然而，一种新的方法出现了，提供了一种简单有效的方式来生成这些有吸引力的多角度视觉错觉。 有许多方法可以创建视觉错觉，但大多数依赖于对人类感知图像方式的特定假设。这些假设往往导致复杂的模型，只有在某些情况下才能捕捉到我们视觉体验的本质。密歇根大学的研究人员提出了一种新的解决方案。它不是基于人类的视觉方式建立模型，而是使用了一种文本到图像扩散模型。该模型不对人类的感知做任何假设，只是从数据中学习。 该方法引入了一种新的方式来生成经典的错觉，如当图像翻转或旋转时发生变化的图像。此外，它还涉及到一种称为“视觉变换”的新型错觉，当您重新排列像素时，图像的外观也会改变。这包括翻转、旋转和更复杂的排列，如创建具有多个解决方案的拼图，称为“多态拼图”。这种方法甚至扩展到三个和四个视图，扩大了这些引人注目的视觉变换的范围。 使这种方法起作用的关键是仔细选择视图。应用于图像的变换必须保持噪声的统计特性。这是因为该模型是在随机、独立和同分布的高斯噪声的假设下进行训练的。 该方法利用扩散模型从各个视图去噪，生成多个噪声估计。然后将这些估计组合成一个单一的噪声估计，促进逆向扩散过程中的一步。 该论文提供了支持这些视图有效性的实证证据，展示了所生成的错觉的质量和灵活性。 总之，这种简单而强大的方法为创建引人注目的多角度视觉错觉开辟了新的可能性。通过避免对人类感知的假设，并利用扩散模型的能力，它提供了一种新鲜而易于理解的方法来探索迷人的视觉变换世界。无论是翻转、旋转还是多态拼图，这种方法都为制作引人入胜并挑战我们视觉理解的错觉提供了一种多功能工具。

高效地应对复杂的优化问题，从全球包裹路由到电力网管理，一直是一个持久的挑战。传统方法，特别是混合整数线性规划（MILP）求解器，一直是破解复杂问题的首选工具。然而，它们的缺点在于计算强度，往往导致次优解或长时间的求解。为了解决这些限制，麻省理工学院和苏黎世联邦理工学院的研究人员开创了一种数据驱动的机器学习技术，承诺彻底改变我们解决复杂物流挑战的方式。 在物流领域，优化是关键，挑战是令人生畏的。尽管圣诞老人可能有他神奇的雪橇和驯鹿，但联邦快递等公司需要处理迷宫般的节假日包裹路线。公司使用的软件骨干是MILP求解器，它采用分而治之的方法来解决庞大的优化问题。然而，这些问题的复杂性往往导致求解时间长达数小时甚至数天。由于时间限制，公司经常被迫中断求解器的中间过程，接受亚优解。 研究团队确定了导致求解时间延长的一个关键中间步骤，即分隔管理。分隔管理是每个求解器的核心方面，但往往被忽视。分隔管理负责识别理想的分隔算法组合，这是一个具有指数数量潜在解决方案的问题。研究人员认识到这一点，试图用数据驱动的方法重新激活MILP求解器。 现有的MILP求解器采用通用算法和技术来导航广阔的解决方案空间。然而，麻省理工学院和苏黎世联邦理工学院的团队引入了一个过滤机制，以简化分隔搜索空间。他们将庞大的13万个潜在组合减少到了约20个可管理的选项。这个过滤机制依赖于递减边际效益的原理，即最大的效益来自一小组算法。 创新之处在于将机器学习融入MILP求解器框架。研究人员利用一个在问题特定数据集上训练的机器学习模型，从缩小的选项中选择最佳算法组合。与具有预定义配置的传统求解器不同，这种数据驱动的方法允许公司通过利用自己的数据来针对特定问题定制通用的MILP求解器。例如，像联邦快递这样经常解决路由问题的公司可以使用过去的实际数据来优化和增强他们的解决方案。 这个机器学习模型基于上下文情境强化学习的形式。这个迭代学习过程包括选择一个潜在解决方案，获得有关其有效性的反馈，并在随后的迭代中对其进行优化。结果是将MILP求解器的求解时间大幅加快，从30%到令人瞩目的70%，而不影响准确性。 总之，麻省理工学院和苏黎世联邦理工学院之间的合作努力在优化领域取得了重大突破。通过将经典的MILP求解器与机器学习相结合，研究团队为解决复杂的物流挑战开辟了新的途径。加快求解时间并保持准确性为MILP求解器带来了实际优势，使其更适用于实际场景。这项研究对优化领域做出了贡献，并为在解决复杂实际问题中广泛整合机器学习铺平了道路。

计算机视觉、自然语言处理和其他领域在深度机器学习（ML）方法方面取得了显著的成功，这些方法基于深度神经网络（NNs）。然而，解释性与效率之间长期存在的问题带来了一些难以克服的障碍。对深度ML方法的质疑、理解和信任能力取决于它们的可解释性，通常被描述为一个人能够理解结论来源的程度。 贝叶斯网络、Boltzmann机器和其他概率ML模型被认为是“白箱”，因为它们本质上是可解释的。这些模型宣称的一种解释方式是通过使用概率推理来揭示隐藏的因果联系；这与人类思维在统计上的方式一致。遗憾的是，最先进的深度NNs在效率上超过了这些概率模型相当大的幅度。目前的ML模型似乎无法同时实现高效性和可解释性。 由于量子计算和传统计算的指数增长，解决效率与可解释性困境的新工具出现了：张量网络（TN）。多个张量的收缩被称为TN。张量的收缩方式由其网络结构定义。 中国首都师范大学和中国科学院大学的一篇新论文调查了TN在高效和可解释的量子启发式ML方面的有益发展。”TN ML butterfly”列举了TN对ML的好处。对于具有量子扭曲的ML的TN的好处可以归结为两个主要领域：量子理论的可解释性和量子过程的高效性。使用TN与如纠缠理论和统计学等量子理论构建超越描述经典信息或统计方法的可解释性的概率框架。 相反，量子启发的TN ML方法将能够通过强大的量子力学TN算法和大幅改进的量子计算技术在经典和量子计算平台上高效运行。特别是，最近产生了具有开发潜力和挑战的生成预训练变换器，导致了前所未有的计算能力和模型复杂性的激增，这对TN ML而言既具有潜力又具有挑战。面对产生预训练变换器的新人工智能（AI），解读结果的能力比以往任何时候都更为重要，从而实现更有效的调查、更安全的控制和更好的利用。 研究人员认为，随着我们进入真正的量子计算和当前的NISQ时代，TN迅速成为从各个角度研究量子人工智能的领先数学工具，包括理论、模型、算法、软件、硬件和应用。 研究人员研究了张量网络用于可解释和高效的量子启发式机器学习文章首次出现于MarkTechPost。

随着技术的不断进步，人工智能成功地使计算机能够以类似于人类思维和学习的方式运作，模仿人脑的智慧。人工智能、机器学习和深度学习等领域的最新进展，已经在包括医疗保健、金融、教育等多个领域得到了提升。近来备受关注的大型语言模型展现了惊人的仿人能力。从问答和文本摘要到代码生成和代码补全，这些模型在各种任务上表现出色。 大型语言模型是通过一种名为强化学习的机器学习范式进行微调的。在强化学习中，智能体通过与周围环境的交互来学习决策能力。它通过在环境中的行为来最大化随时间累积的奖励信号。模型驱动的强化学习最近取得了进展，并在各种需要规划的场景中显示出希望。然而，这些成功仅限于完全可观察且确定的情况。 在最近的研究中，DeepMind的研究团队提出了一种利用矢量量化模型进行规划的新策略。这种方法旨在解决随机和部分可观察环境中的问题。该方法利用状态VQVAE（矢量量化变分自动编码器）和转移模型，将未来的观察编码为离散的潜在变量。这使得它能够适应随机或部分可观察的情境，实现对未来观察和未来行动的规划。 团队表示，这种方法中使用了离散自动编码器来捕捉随机情境中行动的各种可能结果。被称为自动编码器的神经网络设计接收输入数据，将其编码为潜在表示，然后将其解码回原始形式。利用离散自动编码器的方法使得在随机情境中代理行为引起的多种可能结果得以呈现。 为了在此类情境中更容易进行规划，团队使用了蒙特卡洛树搜索的随机变体。蒙特卡洛树搜索是计划和决策过程中常用的一种方法。在此情况下，随机变体允许考虑环境的不确定性。除了代理的行动，规划过程中还包括表示环境可能响应的离散潜在变量。这种全面的方法旨在捕捉部分可观测性和随机性带来的复杂性。 团队对该方法进行了评估，结果表明在一种随机解释的国际象棋中，该方法击败了著名的强化学习系统MuZero的离线变体。从这个角度来看，对手引入了不确定性，并被视为环境的一个重要组成部分。通过DeepMind Lab对该方法的有效实施证明了其可扩展性。这种方法在这种情景中观察到的有利结果证明了它在处理复杂动态环境中的灵活性和有效性。 总之，这种基于模型的强化学习技术扩展了在部分可观察、随机环境中的完全可观察、确定性环境中的有效性。离散自动编码器和随机蒙特卡洛树搜索版本展示了对不确定环境所带来困难的复杂理解，提高了实际应用中的性能。