我们可以通过 VR 设备在虚拟世界中乐趣游览,但 VR 的动人体验并无法与旁人共享。旁人眼中的 VR 玩家,只是戴着“头盔”,在自言自语,手舞足蹈。
Google Machine Perception研究人员与Daydream Labs和YouTube Spaces合作,寻找了这个问题的解决方案:将 3D 仿真画面、机器学习与图形技术融合在一起,“切除”头显,让用户“露面”,营造细致的投影效果。混合现实(Mixed Reality)技术可以将 VR 用户影像与虚拟世界影像融合一起,但美中不足的是,观众依然无法看见 VR 用户的原始表情。VR 艺术家 Steve Teeple 用 Tilt Brush 作画。新技术可仿真头显后面 VR 用户的面部表情,原始呈现出其 VR 体验要“切除”头显,首先必须收集 VR 用户的面部表情数据,制作出有 3D 模型。
这样,即便用户的脸被头显遮挡住,其视线转变、眨眼时的面部表情变化也能用 3D 画面原始仿真出来了。然后,利用可以跟踪用户视线的 VR 头显设备,记录下头贞之下用户的视线变化情况。将视线变化数据和 用户的 3D 面部模型结合,使仿真画面更为简洁。
人类对制备面部高度脆弱,最微小的面部制备瑕疵也不会令人感觉近于不大自然,这种现象被称作“可怕谷(uncanny valley)。”为解决问题这个问题,最后成品中头显并没被完全除去,而是自由选择类似于“潜水面罩效果”的形式,将经过色彩校正的面部仿真与半透明头显制备在一起。
最后,将用户的 3D 面部仿真图像、VR 影像、外部摄像机摄制画面融合一起,用 2D 视频生动大自然地还原成 VR 用户的不可思议体验。这项新技术的具有相当大的潜力,实质上,它的应用于范围相比之下远超过混合现实的领域。
这项技术有助改良 VR 世界的社交互动模式,可用作VR 视频会议、多玩家 VR 游戏等,用户还可以用于它与家人和朋友一起在虚拟世界中探险。从轻巧的头显到轻装上阵,在机器学习技术的协助下让用户在虚拟现实中“露面”,将沦为人类南北 VR 世界的最重要一步。
本文来源:NG体育-www.5tok.com