卡内基梅隆大学的研究人员通过组合来自多个摄像机的同一场景的视频，可以创建一个“虚拟摄像机”，使用户可以从各个角度查看场景，或者将人们从场景中移走。
卡内基梅隆大学的研究人员证明，他们可以结合使用独立摄像机“在野外”拍摄的iPhone视频来创建4D可视化效果，使观看者可以从各个角度观看动作，甚至可以擦除暂时遮挡视线的人或物体。
想象一下婚礼招待会的可视化，可以从与摄像机一样多的角度看到舞者，而走在新娘聚会前的醉汉无处可见。
博士Aayush Bansal表示，可以在婚礼或生日庆典上独立于各个有利位置来拍摄视频。 CMU机器人学院的学生。他补充说，还可以将演员录制在一个场景中，然后将其插入到另一个场景中。
班萨尔说：“我们仅受摄像机数量的限制，”对于可以使用多少个视频源没有上限。
Bansal和他的同事在上个月的计算机视觉和模式识别虚拟会议上介绍了他们的4D可视化方法。
“虚拟现实”并不是什么新鲜事物，但是在过去，它仅限于工作室设置，例如CMU的Panoptic Studio，该工作室在测地线中嵌入了500多个摄像机。无法将多个独立手持摄影机拍摄的真实场景的视觉信息融合到一个单一的综合模型中，该模型无法重建动态3D场景。
班萨尔和他的同事们通过使用卷积神经网络（CNN）解决了这一局限，卷积神经网络是一种深度学习程序，已被证明擅长分析视觉数据。他们发现特定于场景的CNN可用于组成场景的不同部分。
CMU研究人员在匹兹堡国家鸟舍展示了使用多达15部iPhone捕捉各种场景的方法，这些场景包括舞蹈，武术表演甚至火烈鸟。
班萨尔说：“使用iPhone的目的是表明任何人都可以使用该系统。”“世界就是我们的工作室。”
该方法还释放了电影行业和消费类设备中的大量潜在应用程序，特别是随着虚拟现实耳机的普及程度不断提高。
尽管该方法不一定能捕获完整的3D细节，但系统可以限制播放角度，因此看不到不完全重建的区域，也不会破坏3D图像的幻觉。
###
除Bansal外，研究团队还包括机器人学院的教师Yaser Sheikh，Deva Ramanan和Srinivasa Narasimhan。团队还包括前博士学位的Minh Vo。现在在Facebook Reality Lab工作的学生。美国国家科学基金会，海军研究办公室和高通公司为这项研究提供了支持。
