Press "Enter" to skip to content

从静止图像和无声视频中获取音频

《Fringe》的一个剧集启发了Side Eye的概念,剧中的主要角色是一支为FBI工作的边缘科学调查团队,他们从融化的玻璃片中提取声音。 ¶ 授权:Matthew Modoono/东北大学

东北大学开发的一种机器学习工具可以从静止图像和静音视频中获取音频。

使用Side Eye工具,结合大多数智能手机摄像头中标准的图像稳定技术,可以确定离摄像头说话的人的性别和他们说的确切词语。

东北大学的Kevin Fu解释说,悬浮在液体中的摄像头镜头的小弹簧会发生微观振动,并且当有人在摄像头附近讲话时,光线会发生几乎察觉不到的弯曲。

利用大多数智能手机摄像头使用的卷帘快门摄影方法,研究人员可以从这些振动中提取声波频率。

Side Eye产生的音频声音有点模糊,但使用机器学习方法,并基于某些词语和音频的训练,它能够提取大量的信息,Fu说。来源:东北大学全球新闻 查看完整文章

摘要版权所有 © 2023 SmithBucklin,华盛顿特区,美国 从静止图像和无声视频中获取音频 四海 第2张

Leave a Reply

Your email address will not be published. Required fields are marked *