玫瑰的本质由其独特的几何形状、纹理和材料组成。这可以用来创建不同大小和形状的玫瑰，并在各种位置和具有广泛的照明效果。即使每朵玫瑰都有独特的像素值，我们仍然可以将它们识别为同一类的成员。
研究人员来自斯坦福大学、牛津大学和康奈尔技术学院，他们希望利用来自单张照片的数据，创建一个可以用于从不同角度和照明下生成新形状和图像的模型。
解决这个问题陈述有三个障碍：
- 由于训练数据集中只有一张图像，而且只有几百个实例，因此推断问题非常松散。
- 在这些情况下可能会有广泛的可能像素值，因为不知道姿态或照明条件。
- 没有两朵玫瑰是相同的，需要捕捉它们的形状、纹理和材料的分布，以利用底层的多视角信息。因此，旨在推断的对象固有属性是概率的，而不是确定的。与当前用于静态对象或场景的多视角重建或神经渲染方法相比，这是一个重要的变化。
所提出的方法以物体固有属性为起点，用于诱导模型创建中的偏差。这些规则有两个部分：
- 要呈现的实例应该都具有相同的物体固有属性或几何、纹理和材料的分布。
- 固有属性不是相互独立的，而是以一种特定的方式交织在一起，由渲染引擎定义，最终由物理世界定义。
更具体地说，他们的模型采用单个输入图像，并使用一组实例掩模和实例的特定姿态分布，学习物体三维形状、表面反射率和光泽度的分布的神经表示，从而消除了姿态和照明波动的影响。这种基于物理的、明确的解缠可以帮助他们简要解释实例。它使模型能够获取物体固有属性，而不会过度拟合由单个图像提供的稀疏观察数据。
正如研究人员所提到的，由此产生的模型可以实现多种用途。例如，可以通过从学习的物体固有属性中随机采样来生成具有不同身份的新实例。可以通过调整这些外部元素来重新渲染具有新的相机角度和照明设置的合成实例。
团队进行了彻底的测试，以展示模型的改进形状重建和生成性能、创新的视图合成和重照。