一种新的计算机视觉系统可以将任何闪亮的物体变成一种摄像机，使观察者能够看到角落或超越障碍物
当一辆汽车行驶在狭窄的城市街道上时，停放在路边的车辆的光泽油漆或侧视镜的反射可以帮助驾驶员看到否则被遮挡的东西，比如在停车的车辆后面玩耍的孩子。
借鉴这个想法，麻省理工学院和莱斯大学的研究人员创建了一种利用反射成像的计算机视觉技术。他们的方法利用反射将光滑的物体变成“相机”，使用户可以看到世界，就像透过日常物品的“镜头”，比如陶瓷咖啡杯或金属纸重。
利用不同角度拍摄物体的图像，该技术将该物体的表面转化为一个虚拟传感器，用于捕捉反射。AI系统以一种能够估计场景深度和捕捉物体视角下唯一可见的新视图的方式映射这些反射。可以使用此技术来查看角落或超越阻挡观察者视线的物体。
这种方法在自动驾驶汽车中尤其有用。例如，它可以使自动驾驶汽车利用它经过的物体（如路灯或建筑物）的反射来看到停放的卡车周围。
“我们证明了利用这种将物体转换为虚拟像素和虚拟传感器的公式，任何表面都可以转换为传感器。这可以应用于很多不同的领域，”这项研究的合著者之一、媒体实验室相机文化组的研究生Kushagra Tiwary说。
Tiwary的合著者包括莱斯大学研究生Akshat Dave、麻省理工学院研究支持助理Nikhil Behari、麻省理工学院研究生Tzofi Klinghoffer、莱斯大学电气和计算机工程教授Ashok Veeraraghavan以及媒体艺术和科学副教授、麻省理工学院相机文化组组长Ramesh Raskar。该研究将在计算机视觉和模式识别会议上展示。
反思反射
犯罪电视节目中的英雄经常“放大和增强”监视录像，以捕捉反射——也许是在嫌疑人的太阳镜中捕捉到的反射——以帮助他们破案。
“在现实生活中，利用这些反射并不像按一个增强按钮那么简单。从这些反射中获取有用的信息非常困难，因为反射会给我们带来扭曲的世界观，”Dave说。
这种扭曲取决于物体的形状和物体所反射的世界，研究人员对两者可能都有不完整的信息。此外，光滑的物体可能具有自己的颜色和纹理，混合反射。此外，反射是三维世界的二维投影，这使得在反射场景中判断深度变得困难。
研究人员找到了一种克服这些挑战的方法。他们的技术称为ORCa（代表物体作为辐射场相机），分为三步。首先，他们从许多角度拍摄物体的照片，捕捉光滑物体上的多个反射。
然后，对于每个来自真实相机的图像，ORCa使用机器学习将物体表面转化为一个虚拟传感器，捕捉照射到物体表面上每个虚拟像素的光和反射。最后，系统使用物体表面上的虚拟像素来模拟从物体的角度观察的三维环境。
捕获光线
从许多角度成像物体使ORCa能够捕捉多视角反射，系统使用这些反射来估计光滑物体与场景中其他物体之间的深度，以及估计光滑物体的形状。ORCa将场景建模为一个5D辐射场，可以捕捉从场景中的每个点发出和照射的光线的强度和方向等其他信息。
这个5D辐射场中包含的额外信息也有助于ORCa准确地估计深度。由于场景表示为5D辐射场，而不是2D图像，因此用户可以看到被角落或遮挡物阻挡的隐藏功能。
事实上，一旦ORCa捕捉到这个5D辐射场，用户就可以把虚拟相机放在场景中的任何地方，并合成该相机所能看到的内容，Dave解释说。用户还可以将虚拟对象插入到环境中或更改物体的外观，例如从陶瓷变成金属。
“从2D图像到5D环境的转换尤其具有挑战性。您必须确保映射工作并且物理上准确，因此它基于光在空间中传播和光与环境的相互作用。我们花了很多时间思考如何对表面进行建模，”Tiwary说。
准确估计
研究人员通过与其他建模反射的方法进行比较来评估其技术，这与ORCa执行的任务略有不同。他们的方法在将对象的真实颜色与反射分离方面表现出色，并且通过提取更准确的对象几何形状和纹理来超越基线。
他们将系统的深度估计与模拟的真实数据进行比较，后者是关于场景中物体之间实际距离的。他们发现ORCa的预测是可靠的。
“使用ORCa，它不仅准确地估计了环境作为5D图像，而且在中间步骤中，它还很好地估计了物体的形状并将反射与对象纹理分离，”Dave说。
在此概念的基础上，研究人员希望将此技术应用于无人机成像。ORCa可以利用无人机飞过的物体的微弱反射来重建地面的场景。他们还希望增强ORCa，使其能够利用其他线索（例如阴影）来重构隐藏的信息，或将两个物体的反射组合以成像场景的新部分。
“估计镜面反射对于看穿角落非常重要，这是使用场景中微弱反射看穿角落的下一个自然步骤，”Raskar说。
“普通情况下，光滑的物体对于视觉系统来说很难处理。这篇论文非常有创意，因为它将长期存在的光滑物体的弱点转化为优势。通过利用光滑物体的环境反射，本文不仅能够看到场景的隐藏部分，还能够理解场景的照明情况。这使得3D感知应用程序包括但不限于能够将虚拟对象以无缝的方式合成到现实场景中，即使在具有挑战性的照明条件下也能如此，”加州大学洛杉矶分校电气工程和计算机科学助理教授Achuta Kadambi说，他没有参与此项工作。“其他人无法以这种方式使用光滑物体的原因之一是，大多数先前的工作都需要具有已知几何形状或纹理的表面。作者们提出了一种有趣的新公式，不需要这样的知识。”
该研究得到了情报高级研究计划局和国家科学基金会的部分支持。