Month: November 2023

在近期，大型语言模型展示了惊人的能力。其中扩散模型尤其广泛用于多种生成应用，包括3D建模、文本生成、图像和视频生成。尽管这些模型适用于各种任务，但在处理高分辨率数据时会遇到很大的困难。由于每个步骤都需要重新对整个高分辨率输入进行编码，因此将它们扩展到高分辨率需要大量的计算资源和内存。 为了克服这些问题，研究人员经常使用具有注意力机制的深度架构来进行处理，尽管这样会增加计算和内存需求，并且使优化变得复杂。研究人员一直在努力开发有效的网络设计来处理高分辨率照片。然而，当前的方法在输出质量上不及DALL-E 2和IMAGEN等标准技术，并且在512×512分辨率之上尚未展示出竞争力。 这些广泛使用的技术通过合并许多独立训练的超分辨扩散模型与低分辨率模型来减少计算量。相反，潜在扩散方法（LDMs）依赖于经过单独训练的高分辨率自编码器，只训练低分辨率扩散模型。这两种策略都需要使用多阶段的流程和精细的超参数优化。 在最近的研究中，苹果的研究团队提出了万花筒扩散模型（MDM），这是一系列为端到端高分辨率图像和视频合成而设计的扩散模型。MDM的思想是将低分辨率扩散过程作为高分辨率生成的关键组成部分。该方法受到了生成对抗网络（GANs）多尺度学习的启发，团队通过使用嵌套的 UNet 架构，在多个分辨率上进行联合扩散过程。 该方法的一些主要组成部分如下所示。 多分辨率扩散过程：MDM使用嵌套的 UNet 架构，同时对多个分辨率的输入进行去噪处理，从而能够同时处理和生成具有不同细节级别的图像。 嵌套 UNet 架构：嵌套的 UNet 架构将较小尺度的输入特征和参数嵌套在较大尺度的输入特征和参数中。通过这种嵌套，可以有效地在各个尺度上共享信息，提高模型在捕捉细节特征时的能力，同时保持计算效率。 渐进式训练计划：MDM提出了一个逐渐提高分辨率的训练计划，从较低分辨率开始。使用这种训练方法，可以增强优化过程，并使模型更好地学习如何生成高分辨率内容。 团队通过一系列基准测试来分享这种方法的性能和效果，例如文本到视频应用、高分辨率文本到图像生成和条件图片生成。MDM已经证明可以训练一个像素级模型，分辨率高达1024×1024像素。考虑到这一成就是使用相对较小的数据集（CC12M）实现的，该数据集只包含1200万张照片，这是非常令人瞩目的。MDM展示出鲁棒的零样本泛化能力，使其能够为其未经专门训练的分辨率生成高质量信息。总而言之，万花筒扩散模型（MDM）代表了高分辨率图像和视频合成领域的重大进步。

MATHVISTA被介绍为评估大型语言模型（LLMs）和大型多模态模型（LMMs）在视觉背景下的数学推理能力的基准。该标准结合了各种数学和图形任务，并包括现有的和新的数据集。初步评估涉及11个知名模型，包括LLMs，工具增强的LLMs和LMMs，在与人类能力相比存在可观的性能差距，表明进一步的发展是必要的。该基准对于开发具有数学和视觉推理能力的通用AI代理非常重要。 评估LLMs的数学推理能力的当前基准仅关注基于文本的任务，并且其中一些，如GSM-8K，显示出性能饱和。在科学领域，有一个对于强大的多模态基准的日益需要以解决这个限制。像VQA这样的基准探索了LMMs在自然图像之外的视觉推理能力，涵盖了广泛的视觉内容。生成式基础模型在解决各种任务时起到了重要作用，而专门的预训练方法在视觉背景下改善了图表推理。最近的研究强调了这些模型在实际应用中的日益重要性。 数学推理是人类智力的关键方面，应用于教育、数据分析和科学发现。现有的AI数学推理基准是基于文本的，缺乏视觉上下文。来自UCLA、华盛顿大学和微软研究机构的研究人员引入了MATHVISTA，这是一个综合性基准，结合了多种数学和图形挑战，以评估基础模型的推理能力。MATHVISTA包括多种推理类型、主要任务和各种视觉背景，旨在改善模型在实际应用中的数学推理能力。 MATHVISTA是一个用于在视觉背景中评估基础模型数学推理能力的基准。它采用任务类型、推理技能和视觉背景的分类法来策划现有数据集和新的数据集。该基准包括需要深入理解视觉和组合推理的问题。初步测试显示，它对GPT-4V造成了挑战，并强调了其重要性。 MATHVISTA揭示了最佳表现模型Multimodal Bard的准确率为34.8％，而人类表现显著高于60.3％。仅文本的LLMs优于随机基线，2-shot GPT-4的准确率达到29.2％。配备图像标题和OCR文本的增强LLMs表现更好，2-shot GPT-4的准确率达到33.9％。开源LMMs如IDEFICS和LLaVA由于数学推理、文本识别、形状检测和图表理解的局限性而表现不佳。 总之，MATHVISTA研究强调了在视觉背景中改善数学推理能力的需求，以及在将数学与视觉理解整合时面临的挑战。未来的发展方向包括开发具有增强的数学和视觉能力的通用LMMs，通过使用外部工具增强LLMs，并评估模型解释能力。该研究强调了推动AI代理执行数学密集且视觉丰富的实际任务的重要性，这可以通过在模型架构、数据和训练目标方面的创新来实现，以改进视觉感知和数学推理。