四海吧 Posts

基于互联网规模数据训练的大型文本到视频模型展现出了从任意编写描述生成高保真电影的非凡能力。然而，微调预训练的巨型模型可能代价高昂，难以将这些模型适应于具有有限领域特定数据的应用，例如动画或机器人视频。Google DeepMind、加州大学伯克利分校、麻省理工学院和艾伯塔大学的研究人员探索了如何在不进行微调的情况下自定义大型预训练文本到视频模型以适应各种下游领域和任务，灵感来自于一个小型可修改组件（如提示、前缀微调）如何使大型语言模型能够执行新任务而不需要访问模型权重。为了解决这个问题，他们提出了Video Adapter，一种通过使用大型预训练视频扩散模型的得分函数作为先验概率来生成特定任务的微小视频模型的方法。实验表明，Video Adapter可以使用预训练模型的参数仅占1.25％，以包含广泛的知识并在特定任务的微小视频模型中保持高保真度。可以使用Video Adapter生成高质量的特定任务的电影，包括但不限于动画、自我中心建模以及模拟和真实世界机器人数据的建模。 研究人员在各种视频创作工作中测试了Video Adapter。在困难的Ego4D数据和机器人Bridge数据上，Video Adapter生成的视频比高质量的预训练大型视频模型具有更好的FVD和Inception Scores，同时使用的参数少达80倍。研究人员定性地证明了Video Adapter可以生成类别特定的视频，如科幻电影和动画电影。此外，研究的作者展示了Video Adapter如何通过建模真实和模拟机器人电影并允许个性化风格化来为弥合机器人的臭名昭着的模拟到实际差距铺平道路。 主要特点 为了实现高质量且多功能的视频合成而无需在预训练模型上进行梯度更新，Video Adapter在采样时将预训练文本到视频模型的分数与领域特定微小模型的分数（仅使用1％参数）组合。 使用Video Adapter可以轻松地将预训练视频模型适应于人类和机器人数据的电影。 在相同的TPU小时数下，Video Adapter获得的FVD、FID和Inception Scores高于预训练模型和特定任务模型。 Video Adapter的潜在用途范围从动漫制作到领域随机化，以弥合机器人中的模拟现实差距。 与从互联网数据预训练的巨型视频模型相反，Video Adapter需要训练具有数量级更少参数的微小领域特定文本到视频模型。Video Adapter通过在采样期间组成预训练和领域特定视频模型的分数来实现高质量和可适应的视频合成。 使用Video…

人工智能在我们日常遇到的所有主要用例和应用中都是革命性的。其中一个领域围绕着大量的音频和视觉媒体。想想所有能够生成有趣视频、艺术性惊人的图像、复制名人声音或只需一键记录整个讲座的人工智能应用程序。所有这些模型都需要大量的数据进行训练。大多数成功的系统都依赖于带注释的数据集来自我教育。 最大的挑战是存储和注释此数据，并将其转换为模型可以摄入的可用数据点。说起来容易做起来难，公司需要帮助每年收集并创建金标准数据点。 现在，来自麻省理工学院、麻省理工-IBM沃森人工智能实验室、IBM研究和其他机构的研究人员已经开发出一种能够有效解决这些问题的开创性技术，即分析未标记的音频和视觉数据。这种模型具有很大的潜力和潜力，可以改善当前模型的训练方式。这种方法与许多模型共鸣，例如语音识别模型、转录和音频创建引擎以及对象检测。它结合了两种自我监督学习体系结构：对比学习和遮蔽数据建模。这种方法遵循一个基本思想：复制人类如何感知和理解世界，然后复制相同的行为。 正如麻省理工学院的博士后Yuan Gong所解释的那样，自我监督学习非常重要，因为如果你看看人类如何收集和学习数据，其中很大一部分是没有直接监督的。目标是在机器中实现相同的过程，使它们能够从未标记的数据中学习尽可能多的功能。这种训练成为可以利用和改进的强大基础，具体取决于用例的监督学习或强化学习。 这里使用的技术是对比音频 – 视觉遮蔽自编码器（CAV-MAE），它使用神经网络从音频和视觉数据中提取和映射有意义的潜在表示。这些模型可以在10秒YouTube剪辑的大型数据集上进行训练，利用音频和视频组件。研究人员声称，CAV-MAE比任何其他先前方法都要好得多，因为它明确强调了音频和视觉数据之间的关联，而其他方法则没有。 CAV-MAE方法包括两种方法：遮蔽数据建模和对比学习。遮蔽数据建模包括： 获取视频及其匹配的音频波形。 将音频转换为频谱图。 遮蔽75%的音频和视频数据。 然后，该模型通过联合编码器/解码器恢复缺失的数据。重建损失，即衡量重建预测和原始音频-视觉组合之间差异的损失，用于训练模型。这种方法的主要目的是将相似的表示映射到彼此靠近的位置。它通过关联音频和视频数据的相关部分来实现，例如连接口部的口型。 将基于CAV-MAE的模型与其他模型进行测试证明非常有启发性。测试是在音频视频检索和音频-视觉分类任务上进行的。结果表明，对比学习和遮蔽数据建模是互补的方法。 CAV-MAE在事件分类方面优于以前的技术，并保持与使用行业级计算资源训练的模型竞争力。此外，多模态数据显着提高了单模态表示的微调和音频事件分类任务的性能。 麻省理工学院的研究人员认为，CAV-MAE代表了自我监督音频-视觉学习进展的突破。他们设想，它的用例可以涵盖动作识别，包括运动、教育、娱乐、摩托车和公共安全，跨语言自动语音识别和音频-视频生成。虽然当前的方法侧重于音频-视觉数据，但研究人员的目标是将其扩展到其他模态，认识到人类感知涉及音频和视觉提示以外的多种感官。 很有意思看到这种方法随着时间的推移表现如何，并且有多少现有模型尝试纳入这种技术。 研究人员希望随着机器学习的进步，像CAV-MAE这样的技术将变得越来越有价值，使模型能够更好地理解和解释世界。