Facebook发布了一项关于超现实虚拟化身的研究

  • 日期:09-17
  • 点击:(1749)


来源:新浪虚拟现实

据国外媒体报道,facebook的ar/vr研发团队reality labs发布了一份关于虚拟现实化身方法的详细研究报告,该研究扩展了facebook此前的“编解码器化身”工作。

Facebook Reality Lab创建了一个系统,可以实时制作虚拟化身的动画,通过硬件实现前所未有的逼真度,通过内部三个标准摄像头捕捉用户的眼睛和嘴巴。比以前的方法更准确地表示某一特定个体复杂面部表情的细微差别。

本文的研究重点不仅在于将摄像机固定在头部显示器上,还在于利用输入图像驱动用户的虚拟表达。解决方案在很大程度上依赖于机器学习和计算机视觉。其中一位作者说:“我们的系统是实时运行的,它可以处理各种各样的表情,包括鼓起的脸颊、咬人的嘴唇、摇摆的舌头以及皱纹等细节。这种方法很难准确描述。”

研究小组还发表了完整的研究论文,深入研究了系统背后的方法和数学。《vr人脸动画与多视角图像翻译》一书发表在[0x9a8b]上,被誉为“图形领域最重要的同行评议期刊”。本文作者:史恩伟、贾森萨拉吉、托马斯西蒙、亚当W哈雷、斯蒂芬隆巴迪、迈克尔珀多克、亚历山大海皮斯、王大伟、赫尔南巴迪诺和亚瑟谢赫。

本文解释了该项目如何创建两个独立的实验大灯,一个“训练”标题和一个“跟踪”标题。

训练头显示器较大,使用九个摄像头捕捉受试者面部和眼睛的更宽视野。这使得更容易找到输入图像与用户先前捕获的数字扫描之间的“对应关系”(确定输入图像的哪些部分代表化身的哪些部分)。根据该论文,这个过程“通过自我管理的多视图图像转换自动发现,无需手动注释或域之间的一对一对应”。

建立对应关系后,您可以使用“跟踪”标题。它的三个摄像头针对“训练”头上的九个摄像头中的三个。因为从“训练”头部显示器收集的数据可以更好地理解三个摄像机的视图,这使得输入能够准确地驱动虚拟化身的动画。

本文重点介绍系统的准确性。以前的方法产生逼真的输出,但用户实际面部表情的准确性在关键区域减少,特别是在极端表情和眼睛和嘴巴运动之间的关系。

当你回顾实际发生的事情时,你会发现这项工作令人印象深刻。对于脸部被头部显示器覆盖的用户,使用极近距离的相机镜头来精确地重建未覆盖的面部图像。

尽管这种方法令人印象深刻,但仍然存在一些主要障碍。用户的详细初步扫描以及使用“训练”标题的初始需求,这需要类似于“扫描中心”的东西,用户可以扫描和训练他们的化身(您也可以在那里捕获它们)转到自定义HRTF )。在虚拟现实成为社交沟通的重要组成部分之前,这样的中心似乎不太可行。然而,在这项工作之上不断改进先进的传感技术和自动化通信的建设可能最终导致可行的家庭作业过程。

http://www.whgcjx.com/bdsxNaTLW/0