Правила чтения. Буква О читается как А.
增强现实和面部交换似乎是下一代移动应用程序的热门候选者;只看Facebook收购MSQRD或Snapchat收购Looksery。但是，一家名为Pinscreen的AR创业公司目前在Lux Capital和Colopl VR Fund支持180万美元，他们希望在这方面采取不同的做法。 逆 专门向Pinscreen创始人郝莉讲述了这家秘密公司的未来发展方向。
你可能没有听说过郝莉，但是你可能已经看过USC助理教授在几部大片中的研究。在视觉效果工作室Industrial Light&Magic工作期间，Li帮助开发了一些能够实现实时性能捕获的工具。这个想法是一个演员可以坐在带有网络摄像头的计算机前面，演出一个场景，然后这个表演将被实时翻译成一个CG角色。
Li还在其他领域进行了广泛的研究，包括实时制作真实人物的3D模型，以及捕捉他们相似的重要部分，尤其是面部和头发。最近，Li展示了他和其他人用一台摄像机捕捉一个人的表演并将其转化为数字角色的研究。
起初，这听起来并不那么新颖。目前已经有许多面部跟踪解决方案正在开发中，包括移动应用程序和更复杂的系统，如Faceshift（Apple于2015年购买）。但其中许多都依赖于深度传感器，这是李的技术所不需要的。他说，这种方法非常不同。
“如果您有深度传感器，您只需要优化面部模型的参数，以便模型尽可能接近3D输入，”Li解释说。 “但是在纯RGB输入的情况下，整个世界被投影到二维图像上而没有已知的相机参数，例如焦距。因此，需要从这个投影图像中推断出精确的3D人脸模型，并且能够处理各种照明条件以及不同主体的外观。“
因此，李的研究3D头像的重要性。在绘制人脸时，许多绘图程序在处理头发和眼镜等视觉障碍时遇到了麻烦。为了避免这个问题，Pinscreen“构建了一个深度卷积神经网络，可以学习如何在完全无约束的图像中分割面部区域。”
那么，无论如何，Pinscreen使用这种疯狂的先进技术是什么？
“我们将成为一种具有一些有趣AR功能的新型社交媒体/通信平台，”Li说。 “它不会像Snapchat镜头或MSQRD这样的应用程序，这对于大多数人来说只有几分钟有趣。”
所以，现在这不仅仅是流行语。但是，看起来更深入，他之前的工作表明，他们希望能够开发出跟踪某人脸部的能力，尽管任何头发，眼镜或其他物体都会阻碍单个相机的视线。添加一些增强现实，天空是电影，社交媒体和游戏的极限。
这听起来相当开创性，但重要的是要注意李和他的团队并不是唯一在该领域进行研究的人。迪士尼最近展示了其对实时面部表现捕捉的看法，其他研究人员也使用了一款名为Face2Face的工具。还有前面提到的Faceshift，以及Facebook和Snapchat，他们也开始展示他们的产品。
那么是什么让Pinscreen的技术变得与众不同？ Li建议他的公司的解决方案“更加强大，可以推断出更准确的3D模型，因为我们明确处理遮挡。”
“我们最重要的创新是一项技术，它允许我们自动构建一个完整的3D头部模型，包括任何图像的头发，”他说。 “这类任务传统上需要熟练的CG建模师和装配工才能生产，但我们可以完全自动生成。在SIGGRAPH（领先的计算机图形和交互技术会议）上发表的最新论文也需要多个输入图像作为输入 - 我们专注于具有最小输入要求的解决方案，单个2D图像。
当然，在人们看到并使用Pinscreen的任何应用程序之前，陪审团仍然会关注其功能。不过，这里的不同之处在于，李娜肯定拥有坚实的研究和创新历史，尤其是在数字化身的制作方面。
李显然对Pinscreen在社交媒体领域的可能性充满信心。 “由于我们的技术将使3D头像的一代民主化，它将在游戏，VR / AR应用程序用于沉浸式通信或AI代理中具有明显的应用，”他说，“但我认为我们将自己创建最酷的应用程序，这是我们正在开发的社交媒体平台。
“最重要的是，”他补充说，“我们希望能够构建一些东西，让人们可以创建非常有趣的内容，而无需使用当今昂贵的VFX管道，并且可以使用非常有趣的AR内容相互连接。”
听起来好像Pinscreen将包括李和他的团队一直致力于的技术范围。但是，他说，这只是计划的一部分。 “技术演示实际上只是我们计划使用的一个功能，”他指出。 “Pinscreen将会更大，技术将在一开始就成为一个有趣的功能。我们也将与其他社交媒体平台截然不同。“
就目前而言，Pinscreen仍然有点神秘，看起来我们只需等待看看它们的存在。