Tag: Generative AI

Stability AI推出了一项突破性技术——稳定音频（Stable Audio），这标志着音频生成迈出了重要的一步。这项创新解决了从简单文本提示中创建自定义音频片段的挑战。虽然Stability AI以其文本到图像生成技术——稳定扩散（Stable Diffusion）而闻名，但现在它已经将自己的专业知识扩展到了音乐和音频领域。这一发展是在他们成功进军图像合成领域——通过引入Stable Diffusion的SDXL基础模型之后。 到目前为止，通过“符号生成”技术生成基本音频轨道是可能的，通常涉及MIDI文件。然而，稳定音频通过使用户能够创作全新的音乐作品而超越了这一点，摆脱了通常与MIDI和符号生成相关的重复音符的限制。这一成就归功于该模型与原始音频样本的直接交互，从而产生出更优质的输出。该模型的训练涵盖了来自AudioSparks库的80万多首经过许可的音乐作品，这为其出色的性能做出了贡献。这个丰富的数据集确保了高质量的音频，并提供了全面的元数据，这是基于文本的模型的一个关键因素。 与可以模仿特定艺术家风格的图像生成模型不同，稳定音频并不试图模仿像披头士乐队这样的标志性乐队。这个有意的选择源于对音乐家追求在没有严格风格限制的情况下踏上自己的创作之旅的理解。相反，稳定音频赋予用户探索他们独特音乐表达的能力。 稳定音频模型是一个拥有大约12亿参数的扩散模型，与图像生成的原始稳定扩散模型相媲美。为了生成音频，文本提示是稳定AI使用对比语言音频预训练（CLAP）技术精心制作和训练的。为了帮助用户制作有效的提示，Stability AI将与稳定音频发布同时发布一个提示指南。 稳定音频将通过免费版本和每月12美元的专业计划提供。免费版本每月可生成最多20个音频片段，每个片段长达20秒。相比之下，专业版本提高了这些限制，使用户可以生成500个片段，并将音轨时长延长到90秒。 总之，Stability AI发布的稳定音频标志着音频生成技术的新时代。该公司通过利用先进的AI技术，为将文本提示转化为原创音频片段提供了一个无缝的平台。这一创新拓展了创作表达的视野，并展示了AI驱动的音乐和音频制作解决方案的潜力。稳定音频以其可接受的价格层次，将成为有抱负和专业音频创作者的宝贵工具。

在不断发展的计算机视觉和图形领域中，一个重要的挑战是从2D图像中创建逼真的3D人体表示。这不仅仅是技术上的障碍，也是从沉浸式虚拟环境到高级视频编辑等众多应用的入口。为了应对这一挑战，研究团队提出了一种突破性的解决方案，称为“SMPLitex”。该研究深入探讨了问题本身、提出的方法论、其复杂性以及SMPLitex的出色性能。 从单个图像中创建3D人体表示是计算机图形和计算机视觉中的一个长期愿景。虽然我们在捕捉3D形状方面取得了重大进展，但赋予物体逼真外观的纹理仍然是一个艰巨的领域。想象一下，只需拍摄一个人的单张照片，就能够重新创建他们的3D形状和详细的皮肤纹理、服装甚至配饰。这正是SMPLitex研究团队要解决的挑战。 在深入研究SMPLitex之前，了解现有方法及其局限性是至关重要的。传统方法通常依赖于耗时的手动纹理映射或3D扫描等工艺，这对于现实世界的应用来说可能更具可扩展性。这些方法在处理被遮挡或不完整的被拍摄对象时也会遇到困难，限制了它们的实用性。 研究团队通过引入SMPLitex，一种从单个图像中估计和操作完整3D人体外观的革命性方法，迈出了大胆的一步。SMPLitex的独特之处在于将最初设计用于2D图像的生成模型集成到3D领域中。关键创新在于根据输入图像建立像素到表面的对应关系，然后用于重建3D纹理。 该方法的核心是一种专门设计用于完整3D人体外观的生成模型。该模型经过广泛训练，学习了人体纹理在3D空间中的表现方式。但真正的魔力发生在该模型基于输入图像中可见部分的条件下。 通过计算出令人瞩目的精确的像素到表面的对应关系，将2D图像映射到其3D对应物。通过利用这种对应关系，SMPLitex可以生成一个完整的3D纹理映射，忠实地呈现被拍摄对象的外观。生成模型对图像中可见部分的适应性确保了即使在处理部分遮挡的对象时，SMPLitex也能产生逼真的3D纹理。 SMPLitex不仅承诺实现范式转变，而且实现了。研究团队在三个公开可用的数据集上进行了严格的定量和定性评估。结果令人惊叹，SMPLitex在人体纹理估计方面显著优于现有方法，展示了其强大的能力。 SMPLitex的一个突出特点是其多功能性。它在准确的纹理估计方面表现出色，并为更广泛的任务打开了大门。从编辑和合成到操作，SMPLitex可以无缝地将3D纹理集成到各种应用中，丰富了计算机图形和计算机视觉领域。 总之，SMPLitex代表了从单个图像中提取逼真的3D人体纹理的巨大进步。通过弥合2D图像和逼真3D重建之间的差距，该方法具有巨大的潜力。其潜在应用涵盖了娱乐、游戏、医疗保健和时尚等各个领域。SMPLitex展示了未来捕捉3D人体外观就像拍照一样简单的前景，研究团队的创新为更具沉浸感的体验、增强内容创作以及新的计算机视觉和图形领域铺平了道路。 随着技术的进步，我们只能期待像SMPLitex这样的方法所能带来的令人难以置信的可能性。将生成模型和精确的像素到表面对应相结合，可以彻底改变行业，并重新定义我们与人体形态的数字表示的互动。由于SMPLitex及其有远见的研究团队，从2D到3D的旅程迈出了重要的一步。