144 search results for "Midjourney"

从ChatGPT到GPT4再到DALL-E 2/3再到Midjourney，最新一波的生成式人工智能引起了全球范围内前所未有的关注。这种迷恋背后伴随着对“智能”所带来的风险的严重担忧，因为这种“智能”似乎超越了人类的能力。当前的生成模型可能会产生具有挑战性的结果，这些结果可以对在语言和视觉领域具有多年经验和专业知识的专家构成威胁，并且这为机器已经超越人类智慧的说法提供了有力的支持。与此同时，进一步审查模型的输出揭示出一些根本性的理解错误，即使对于非专家人员也令人惊讶。 这引发了一个看似矛盾的问题：它们如何解释这些模型明显超人的能力，同时又保持一套核心的错误，大多数人可以修复？他们认为，这种冲突来源于人类智慧的配置方式与当今生成模型的能力配置方式之间的差异。特别是，来自华盛顿大学和艾伦人工智能研究所的研究人员在这项工作中提出并调查了生成式AI悖论假设，该假设认为生成模型之所以可以比专家级的输出解释者更有创造力，是因为它们经过训练直接产生专家级的输出。 相比之下，人们几乎总是需要在提供专家级结果之前获得一个基础的理解。他们在受控研究中检查跨语言和视觉模态的生成模型的生成和理解能力来评估这个想法。在与生成任务相关的评估中，使用两个观点来构建“理解”：1）在给定生成任务的情况下，模型在相同任务的判别版本中能多好地选择适当的答案？和2）如若答案正确，模型对于关于生成响应的性质和适合性的查询能有多大程度的回应？因此，存在两个不同的实验设置：询问和选定。 尽管他们的发现在任务和模态之间有所不同，但仍然出现了某些明显的模式。在选择性评估方面，模型在生成任务环境中往往表现与人类相当甚至更好。但是，在判别性情境中，他们不如人类。后续的调查揭示了人类辨别能力对敌对输入的更强韧性以及它与生成能力的关系比它与GPT4的关系更密切。随着任务复杂性的增加，模型与人类之间的辨别力差距也越来越大。类似地，对于询问式评估，模型能够为多种任务提供高质量的输出，但是在回答有关同一生成内容的问题时，它们经常出错，并且它们的理解性能需要在人类理解中得到改进。 作者对生成模型和人类之间的能力配置的差异提出了许多可能的解释，例如模型训练的目标以及种类和数量的输入。他们的结论还具有一些进一步的影响。首先，它表明了当前对智能的理解是基于人类经验的，可能无法转化到人工智能上。虽然AI的能力在许多方面类似或超过人类智能，但它们的实际特性可能与人类思维过程中的预期模式大相径庭。相反，他们的结果警告我们不要从生成模型中得出关于人类智能和认知的结论，因为它们的专家级人类化输出可能掩盖了非人类化的机制。总的来说，生成式AI难题建议我们将模型视为与人类智能相比较的有趣对照。

通过结合计算机生成的视觉图像或从图片中推断场景的物理特征，计算机图形学和3D计算机视觉团体已经致力于创建几十年来的物理真实模型。这个方法包括渲染、模拟、几何处理和摄影测量等，涉及到包括视觉效果、游戏、图像和视频处理、计算机辅助设计、虚拟和增强现实、数据可视化、机器人、自动驾驶车辆和遥感等几个行业。伴随着生成式人工智能（AI）的兴起，视觉计算的全新思维方式已经出现。仅凭书面提示或高水平人类指令作为输入，生成式AI系统可以创建和操纵逼真而有风格的照片、电影或3D物体。 这些技术自动化了以前只有专业领域知识专家才能完成的许多耗时任务。稳定扩散、ImaGen、Midjourney或DALL-E 2和DALL-E 3等视觉计算的基础模型为生成式AI带来了无与伦比的力量。这些模型在数亿到数十亿个文本-图像对中进行训练，它们非常庞大，只有几十亿个可学习的参数。这些模型是上述生成式AI工具的基础，并在强大的图形处理单元（GPU）云中进行了训练。 基于卷积神经网络（CNN）的扩散模型经常用于生成图像、视频和3D对象，它们以多模态的方式集成了使用transformer架构（如CLIP）计算的文本。尽管有资金支持的行业参与者在为二维图像生成开发和训练基础模型时使用了大量资源，但学术界仍有机会为图形和视觉工具的发展做出重要贡献。例如，如何调整目前的图像基础模型以在其他更高维度领域中使用，如视频和3D场景创建，仍需明确。 这主要是由于需要更具体类型的训练数据。例如，网络上有许多低质量和通用的二维照片示例，而高质量和多样化的三维对象或场景却相对较少。此外，将二维图像生成系统扩展到更高维度，以适应视频、三维场景或四维多视角一致场景合成的需求，不是立即明显的。目前的限制之一是计算问题：尽管庞大的（未标记的）视频数据在网络上可用，但当前网络架构往往过于低效，无法在合理的时间或计算资源上进行训练。这导致扩散模型在推理时间上相对较慢。这是由于它们网络的庞大尺寸和迭代性质造成的。 图1：该前沿论文介绍了视觉计算的扩散模型的理论和应用。最近，这些模型已成为在3D和4D中创建和修改图像、视频和对象的公认标准。 尽管存在一些未解决的问题，但过去一年中视觉计算的扩散模型数量大幅增加（详见图1中的示例）。该报告由多所大学的研究人员开发，其目标是对最近关注于扩散模型在视觉计算中应用的众多最新出版物进行整理评述，介绍扩散模型的原理，并识别出突出的问题。