2210 search results for "Pi"

大型语言模型（LLMs）成功利用了人工智能（AI）的子领域，包括自然语言处理（NLP），自然语言生成（NLG）和计算机视觉。借助LLMs，我们能够创建能够复杂推理关于图像的视觉语言模型，回答与图像相关的问题，并用自然语言描述图像。然而，LLMs是否能够执行词定位或定位引用等定位任务仍然不确定。 为了克服这个挑战，谷歌研究和UC圣地亚哥的研究人员团队引入了一种智能模型称为PixelLLM，可以实现精细的定位和视觉语言对齐。这种方法受到了人们自然行为的启发，尤其是婴儿用手势、指点和命名来描述他们的视觉环境。团队表示，目标是找出LLMs如何从视觉输入中获得空间理解和推理。 PixelLLM将语言模型的每个单词输出密集对准到像素位置上。为此，添加了一个微小的多层感知机（MLP），它能够对每个单词的像素位置进行回归。使用了低秩微调（LoRA），允许更新或冻结语言模型的权重。该模型还可以接收文本或位置提示，使其能够提供符合提示的输出。 该模型的架构包括图像编码器、提示编码器和提示特征提取器。大语言模型接受提示条件下的图片特征和可选的文本提示作为输入，并输出每个单词的定位和标题。该架构能够接受多样的语言或位置组合作为输入或输出，适应各种视觉语言活动。 团队使用诸如密集物体字幕、位置条件字幕和引用定位等众所周知的视觉任务评估了该模型。PixelLLM在各种挑战中展现出卓越的性能指标，包括RefCOCO引用定位上的89.8 P@0.5，Visual Genome条件化字幕上的19.9 CIDEr以及密集物体字幕上的17.0 mAP。密集的像素定位公式非常重要，这在对RefCOCO进行的消融实验中得到了证明，相对于其他的定位公式，它取得了3.7个百分点的提升。因此，PixelLLM在实现精准的视觉语言对齐和定位方面取得了成功。 团队总结了他们的主要贡献如下： 引入了一个名为PixelLLM的新的视觉语言模型，可以生成单词定位和图片标题。 该模型支持文本或可选的位置提示，除图片输入外。 使用了定位的叙述数据集进行每个单词定位的训练。 该模型能够适应各种视觉语言任务，包括分割、位置条件字幕、引用定位和密集字幕。 该模型在位置条件字幕、密集字幕、引用定位和分割方面展现出卓越的结果。

一支来自字节跳动研究团队的研究者介绍了PixelDance，一种利用文本和图像指示来创建具有多样化和复杂运动的视频生成方法。通过这种方法，研究者展示了他们的系统的有效性，通过合成具有复杂场景和动作的视频，从而在视频生成领域树立了新的标准。PixelDance在合成具有复杂设置和活动的视频方面表现出色，超过了通常生成具有有限动作的视频的现有模型。该模型通过扩展到各种图像指示，并结合时间上连贯的视频片段来生成组合镜头。 与限于简单场景的文本到视频模型不同，PixelDance利用图像指示来增强视频复杂性，并实现更长的连续剪辑生成。这种创新克服了以前方法中出现的运动和细节限制，特别是在领域外内容方面。强调图像指令的优势，将PixelDance确定为生成具有复杂场景、动态动作和复杂摄像机运动的高动态范围视频的解决方案。 PixelDance架构将扩散模型和变分自编码器整合到输入空间中，以对图像指示进行编码。训练和推断技术聚焦于学习视频动力学，利用公共视频数据。PixelDance可扩展到各种图像指示，包括语义地图、草图、姿势和边界框。定性分析评估了文本、首帧和尾帧指示对生成的视频质量的影响。 基于FVD和CLIPSIM指标，PixelDance在MSR-VTT和UCF-101数据集上的表现优于以前的模型。对于UCF-101的消融研究展示了PixelDance组件如文本和最后帧指示在连续片段生成中的有效性。该方法提出了一些改进的思路，包括使用高质量视频数据进行训练、领域特定的微调和模型扩展。PixelDance展示了无需后期处理的视频编辑，将其转化为一项图像编辑任务。它在MSR-VTT和UCF-101数据集上生成满足文本提示的高质量复杂视频的令人印象深刻的定量结果。 PixelDance在合成具有复杂场景和动作的高质量视频方面表现出色，超过了最先进的模型。模型与文本提示的配合展示了其推进视频生成的潜力。已经确定了需要改进的领域，包括领域特定的微调和模型扩展。PixelDance引入了无需后期处理的视频编辑，将其转化为图像编辑任务，并始终生成时间上连贯的视频。定量评估证实了它能够根据文本提示生成高质量、复杂的视频的能力。 PixelDance对显式图像和文本指示的依赖可能会限制其在未知场景中的泛化能力。评估主要侧重于定量指标，需要更多主观质量评估。对训练数据来源和潜在偏差的影响没有进行深入探讨。需要全面讨论模型在可扩展性、计算需求和效率方面的局限性。模型处理特定视频内容类型（如高度动态场景）的能力仍需澄清。需要对其在多样领域和超出示例之外的视频编辑任务中的普适性进行全面讨论。

全新的逼真图像合成时代已经开始，得益于文本到图像（T2I）生成模型的发展，例如DALLE 2、Imagen和Stable Diffusion。这极大地影响了许多下游应用，包括图片编辑、视频制作、3D素材的创建等。然而，这些复杂的模型需要大量的处理能力进行训练。例如，训练SDv1.5需要6K A100 GPU天，约花费320,000美元。更大型的模型RAPHAEL甚至需要60K A100 GPU天，约花费3,080,000美元。此外，训练过程还会导致大量的二氧化碳排放，给环境造成压力；例如，RAPHAEL的训练产生了35吨二氧化碳排放，相当于一个人在7年内的排放量，如图1所示。 图1：显示了在T2I生成者之间的二氧化碳排放和训练成本方面的比较。在PIXART-α的训练上花费了显著的26,000美元。我们的二氧化碳排放和训练开销仅比RAPHAEL少1.1%和0.85%。 这样高昂的价格给研究界和企业获得这些模型带来了重大限制，严重阻碍了人工智能图像生成社区的关键进展。这就提出了一个关键问题：他们能否以可管理的资源使用创建高质量的图片生成器？华为诺亚方舟实验室、大连理工大学、香港大学和香港科技大学的研究人员提出了PIXART-α，它大大降低了训练的计算要求，同时保持了竞争力的图片生成质量，达到了最新的先进图像生成器的水平。他们提出了三个主要设计来实现这一点：训练计划的分解。他们将复杂的文本到图像生成问题分解为三个简单的子任务： 学习自然图片中像素的分布 学习文本与图像的对齐关系 改善图像的审美吸引力 他们建议通过用低成本的类别条件模型对T2I模型进行初始化，从而大大降低了第一个子任务的学习成本。他们提供了一个训练范式，包括在信息密度较高的文本-图像对数据上进行预训练和在具有更高审美质量的数据上进行微调，提高训练效果。一种高效的T2I Transformer。他们使用交叉注意力模块将文本条件注入，并简化了计算量大的类别条件分支，以提高效率，基于扩散变压器（DiT）。此外，他们提出了一种重新参数化方法，使得修改后的文本到图像模型可以直接导入原始类别条件模型的参数。 他们可以利用ImageNet关于自然图片分布的先前知识，为T2I Transformer提供可接受的初始化，并加速其训练过程。高质量的信息。他们的研究揭示了现有文本-图像对数据集的显著缺陷，以LAION为例。文字说明常常受到严重的长尾效应的影响（即许多名词只出现极低的频率）以及缺乏有信息量的内容（即通常只描述图像中的一部分物体）。这些缺陷大大降低了T2I模型训练的有效性，需要数百万次迭代才能获得可靠的文本-图像对齐。他们建议使用最先进的视觉语言模型在SAM上进行自动标注的流程，以解决这些问题。 SAM数据集拥有大量多样的对象，使其成为生成信息密度较高、更适合文本-图像对齐学习的文本-图像配对的理想来源。他们巧妙的特征使得他们的模型训练变得极其高效，仅需675 A100 GPU天和26,000美元。图1显示了他们的方法使用的训练数据量（0.2%对比Imagen）和训练时间（2%对比RAPHAEL）比Imagen更少。他们的训练开销约为RAPHAEL的1%，节省了约3,000,000美元（26,000美元对比3,080,000美元）。 关于生成质量，他们的用户研究试验表明 PIXART-α 在画质上比当前的 SOTA T2I 模型、稳定扩散等方面具有更好的语义对齐效果；而且，它在…