3758 search results for "Fi"

视频超分辨率旨在将低质量视频提升到高保真度，面临的挑战是解决现实世界场景中常见的多样化且复杂的退化问题。与以前关注合成或特定相机相关退化不同，该复杂性源于多个未知因素，如降采样、噪声、模糊、闪烁和视频压缩。虽然最近的基于CNN的模型在缓解这些问题方面显示出了希望，但由于有限的生成能力，它们在生成逼真纹理方面仍然存在局限性，导致过度平滑。本研究探讨了利用扩散模型来解决这些限制并增强视频超分辨率的方法。 现实世界视频增强的复杂性要求采用超越传统方法的解决方案，以应对多方面的退化问题。尽管基于CNN的模型在缓解多种退化形式方面展示出实力，但它们的局限性在于生成逼真纹理，往往导致过度平滑的输出结果。扩散模型已成为一个希望的象征，在生成高质量图像和视频方面展示出令人印象深刻的能力。然而，将这些模型应用于视频超分辨率仍然是一个艰巨的挑战，原因是扩散采样中存在固有的随机性，导致低级纹理的时间不连续性和闪烁。 为了应对这些挑战，本研究中的NTU研究人员采用了潜在扩散框架内的局部-全局时间一致性策略。在局部层面上，预训练的放大模型通过额外的时间层进行微调，整合了3D卷积和时间注意力层。这种微调显著提高了局部序列的结构稳定性，减少了纹理闪烁等问题。同时，一个新颖的流引导的循环潜在传播模块在全局层面上操作，通过逐帧传播和推断期间的潜在融合，确保了更长视频的整体稳定性。 图1：AI生成和现实世界视频的超分辨率对比。建议的Upscale-A-Video展示了出色的放大性能。通过使用正确的文本提示，它以更多的视觉逼真度和更精细的细节呈现惊人的效果。 本研究探索了创新的方向，通过引入文本提示来指导纹理生成，使模型能够产生更加逼真和高质量的细节。此外，将噪声注入输入可以增强模型对于重度或未知退化的鲁棒性，从而在恢复和生成之间实现控制。较低的噪声水平优先考虑恢复能力，而较高的噪声水平则鼓励更精细的细节生成，实现保真度和质量之间的权衡。 主要贡献在于制定了一种强大的实际视频超分辨率方法，将局部-全局时间策略结合到隐藏扩散框架中。通过整合时间一致性机制和对噪声水平和文本提示的创新控制，模型在基准测试上表现出卓越的视觉逼真度和时间连贯性，展示出了最新技术水平。

NVFi致力于解决理解和预测3D场景在时间上演变的复杂挑战，这对增强现实、游戏和电影制作等应用至关重要。虽然人类轻而易举地理解此类场景的物理学和几何学，但现有的计算模型难以从多视点视频中明确学习这些属性。核心问题在于现有方法（包括神经辐射场及其衍生品）不能根据学习到的物理规律提取和预测未来的运动。 NVFi的雄心是通过纯粹从多视点视频帧中派生出的分解速度场，来填补这一差距，这在以前的框架中尚未研究过。 3D场景的动态性给计算带来了深远的挑战。虽然神经辐射场的最新进展在插值观察时间范围内的视图方面表现出了非凡的能力，但它们无法学习到显式的物理特征，如物体速度。这种限制阻碍了它们准确预测未来运动模式的能力。目前的研究将物理学与神经表示结合起来，在重建场景几何、外观、速度和黏度场方面表现出了希望。然而，这些学习的物理属性通常与特定场景元素交织在一起，或者需要补充的前景分割掩码，限制了它们在场景之间的可转移性。 NVFi的开创性目标是解开和理解整个3D场景内的速度场，进一步扩展训练观察之外的预测能力。 香港理工大学的研究人员引入了一个全面的框架NVFi，包括三个基本组成部分。首先，关键帧动态辐射场促进了对3D空间中每个点的时间相关体积密度和外观的学习。其次，帧间速度场捕获了每个点的时间相关3D速度。最后，由物理知识约束增强的关键帧和帧间元素的联合优化策略组织了训练过程。该框架采用现有的时间相关NeRF架构进行动态辐射场建模时具有灵活性，同时使用相对简单的神经网络（如MLP）进行速度场建模。其核心创新在于第三个组件，联合优化策略和特定的损失函数使得无需额外的物体特定信息或掩码，能够精确学习到分解速度场。 NVFi的创新之处在于它能够纯粹从多视角视频帧中对3D场景的动态进行建模，消除了对特定对象数据或掩码的需求。它精心关注于分解速度场，这是掌控场景运动动力学的关键，它为众多应用提供了关键。在多个数据集上，NVFi展示了它在推断未来帧、语义场景分解和不同场景之间速度传递方面的能力。这些实验验证证实了NVFi在各种实际应用场景中的适应性和优越性能表现。 主要贡献和要点： 引入NVFi，一种新颖的从多视角视频中建模动态3D场景的框架，无需先验对象信息。 设计和实现了一个神经速度场，并结合联合优化策略进行有效的网络训练。 成功展示了NVFi在各种数据集上的能力，展示了在未来帧预测、语义场景分解和场景间速度传递方面的优越性能。