Tag: Artificial intelligence

北京大学、加州大学洛杉矶分校、北京邮电大学和北京智能通用人工智能研究院的研究团队引入了JARVIS-1，这是一个用于Minecraft开放世界任务的多模态代理。借助预训练的多模态语言模型，JARVIS-1解释视觉观察和人类指示，生成复杂的内在控制计划。 JARVIS-1利用多模态输入和语言模型进行规划和控制。建立在预训练的多模态语言模型之上，JARVIS-1整合了一个多模态记忆，用于基于预训练知识和游戏经验的规划。在200个不同任务中实现接近完美的性能，尤其在具有挑战性的长期任务中表现出色，完成率提高了五倍。研究强调了多模态记忆在增强代理自主性和在开放世界场景中的智能性方面的重要性。 该研究解决了在开放世界环境中创建复杂任务的复杂代理的挑战。现有方法需要在多模态数据、长期规划和终身学习方面进行改进。基于预训练的多模态语言模型构建的JARVIS-1代理在Minecraft任务中表现出色。JARVIS-1在200个任务中几乎达到完美的表现，并显著改进了钻石凿任务。该代理展示了自主学习的能力，在很少外部干预的情况下不断演化，为追求普适能人工智能做出了贡献。 基于预训练的多模态语言模型构建的JARVIS-1将视觉和文本输入结合起来生成计划。代理的多模态记忆将预训练知识与游戏经验相结合，用于规划。现有方法使用了分层目标执行架构和大型语言模型作为高层规划器。JARVIS-1在Minecraft宇宙基准的200个任务上进行评估，揭示了由于控制器对短期文本指令执行不完美而导致的钻石功能挑战。 JARVIS-1的多模态记忆促进了自我提升，通过超越其他指令跟随代理，提升了智能和自主学习。在具有挑战性的任务中，JARVIS-1在钻石相关任务中的成功率几乎提高了三倍，超过了没有记忆的DEPS代理。该研究强调了改进计划生成以便更容易执行和增强控制器在钻石相关任务中遵循指令的能力的重要性。 基于预训练的多模态语言模型构建的开放世界代理JARVIS-1在Minecraft宇宙中精通多模态感知、计划生成和内在控制。整合多模态记忆通过利用预训练知识和实时经验来增强决策。JARVIS-1显著提高了长期任务如钻石凿的完成率，使之较之前的记录提高了最高五倍。这一突破为在复杂虚拟环境中开发多功能和适应性代理的未来发展奠定了基础。 进一步的研究建议改进任务执行的计划生成，提高控制器在钻石相关任务中遵循指令的能力，并研究简化执行的方法。提出了通过多模态记忆和实时经验增强开放世界情境中决策能力的方式。建议扩展JARVIS-1在Minecraft中更广泛任务范围的能力，并可能适应其他虚拟环境。该研究鼓励通过终身学习实现不断改进，促进JARVIS-1的自我提升和更大的智能和自主性的发展。

在天气预报技术的重大进展中，Google DeepMind推出了一种具有开创性的机器学习模型——GraphCast。这款AI工具标志着一个重大飞跃，比现有方法提供更准确、更快速的预测，挑战着传统数值天气预报模型的主导地位。 革新天气预报 与耗费能源和成本的超级计算机依赖型数值天气预报模型相比，GraphCast在桌面电脑上运行效率高。这种AI模型利用过去和现在的天气数据，快速预测未来的天气条件。 在气候变化和极端天气事件带来全球挑战的时代，准确的天气预报变得越来越重要。传统的数值天气预报模型虽然准确，但需要大量计算资源来追踪空气、热量和水汽在大气中的运动。 GraphCast相比传统模型的优势 GraphCast是在DeepMind位于伦敦的实验室开发的，它使用1979年至2017年的历史全球天气数据进行训练。它利用这个庞大的数据集来理解温度、湿度、气压和风等各种天气要素之间的相关性。它的预测能力可以提前到10天，预测速度不到一分钟，而ECMWF的数值天气预报系统（HRES）需要几个小时。 值得注意的是，在对地球表面最近的大气层——对流层中，GraphCast在12,000个测量中超过99%的性能优于HRES。它准确预测到地球表面附近的五个天气变量和较高海拔处的六个大气变量。这种优势还延伸到对包括热带气旋和极端温度波动在内的严重天气事件的预测。 比较优势 GraphCast不仅相对传统模型具有优势，也在其他基于AI的方法中脱颖而出。根据华为之前的一项研究，与华为的盘古天气模型相比，GraphCast在99%的天气预报中表现更好。然而，需要注意的是，使用不同的评估指标进行未来评估可能会产生不同的结果。 结论 GraphCast是天气预报领域迈出的一大步，提供了快速准确的预测，同时减少了计算需求。随着技术的发展和克服当前的局限性，GraphCast有望在与天气相关的实际应用中显著促进气象研究和实际决策的进行。预计在两到五年内将其整合到实际应用中，GraphCast为天气预测带来了新的时代，将传统方法与AI的创新能力相结合。

苏黎世联邦理工学院的研究人员探索了深度Transformer设计的简化方法，旨在使其更稳健高效。他们通过结合信号传播理论和实证观察，提出了一些修改，使得标准Transformer块中的各种组件可以被移除而不影响训练速度或性能呈现。 该研究主要针对深度神经网络中Transformer块的简化进行了探讨，特别关注了标准Transformer块。通过借鉴信号传播理论，研究探索了相同构建块的排列方式，其中包括了带有跳跃连接和标准化层的注意力和MLP子块。同时，该研究还引入了并行块的概念，以实现MLP和注意力子块的并行计算，提高了效率。 该研究着重考察了深度神经网络中Transformer块的简化问题，特别关注标准Transformer块内各组件的必要性，并探索了在不影响训练速度的情况下是否能够将其移除。简化的动机源于现代神经网络架构的复杂性以及深度学习在理论和实践之间的差距。 该研究通过结合信号传播理论和实证观察，提出了简化Transformer块的修改方案。通过在自回归解码器和BERT编码器模型上进行实验，评估了简化Transformer的性能。研究还进行了额外的实验和遗漏分析，探究了在注意力子块中去除跳跃连接对信号退化的影响。 该研究提出了简化Transformer块的修改方案，包括去除跳跃连接、投影/值参数、顺序子块和标准化层。这些修改能够保持标准Transformer的训练速度和性能，并同时实现更快的训练吞吐量和更少的参数利用。该研究还探究了不同初始化方法对简化Transformer性能的影响。 简化Transformer块取得了与标准Transformer相当的性能，同时减少了15%的参数使用量，并提高了15%的训练吞吐量。该研究提出了能够降低大规模Transformer模型成本的简化深度学习架构。实验结果支持了这些简化修改在各种设置下的有效性，并强调了适当的初始化对于获得最佳结果的重要性。 建议未来的研究是探索这些简化修改对于更大型的Transformer模型的效果，因为本研究主要集中在相对较小的模型上。同时，建议进行全面的超参数搜索，以提高简化块的性能，因为本研究只调整了关键超参数并依赖了默认选择。研究还提出了探索硬件特定实现的简化块，以进一步提高训练速度和性能的潜力。