在人脸跟踪中绕过VR头盔遮挡 - 预览

VR头盔咬合指南

这是一个高级帖子的预览。

追踪你无法看到的东西

在我从事人脸追踪工作的这些年里,我观察到工程师和研究人员中存在一种迷信,即当面部地标(如眉毛、眼睛和嘴巴等特征)落在摄像机视野之外时,你就无法追踪它们。这种想法并不完全正确。你不需要看到眉毛就能知道它是抬头还是皱眉,你也不需要看到鼻子就能知道它是在皱眉。

我们的脸会随着每个面部动作而独特地鼓起、拉伸和皱纹。我已经使用这些变化来训练标签器,以便仅从皮肤运动中识别和准确分类离散的表情。通过精心指导的文档、一套全面的例子和一台高质量的相机,你可以在有限的FOV下推断出信息的界限。

眼球追踪所需的最小FOV往往足以追踪少数动作。视图A(在下面的图像集中)最能反映出基于凝视的跟踪器视图的样子。虽然眼球追踪相机的主要目标是只覆盖足够的眼球来观察目光的变化,但其潜力要大得多。即使有了这种集中的视角,你仍然可以检测出 上盖板 (AU5)。 腮帮子 (AU6),和 拧紧器 (AU7)具有相对高的确定性。这些动作在测量注意力、反应和参与方面的应用很有用;它们也是交流中的关键信号。

很多人都会被行动单位的名字所阻挡,如 腮帮子 并认为,"我们无法追踪 腮帮子 因为我们的FOV没有覆盖脸颊区域。"但是 腮帮子 它比它的名字所显示的要多;它是由眼轮匝肌的收缩引起的动作,眼轮匝肌是围绕眼睛区域的肌肉。虽然眼轮匝肌的运动确实影响到脸颊,但许多变化实际上发生在眼窝部位。只要你有一个边缘的视野,就可以看到 [从预览中删除] 或下的一丝皮肤 [从预览中删除],你可以确定是否 腮帮子 正在发生。类似的概念也适用于我在下面的图片中列出的其他动作。 

读者须知: 

如果您觉得本篇文章的内容对您有帮助,请您阅读。 "大科技公司同质化的用人习惯" 并教育自己重视新兴技术中跨学科知识的重要性。

这是一个高级帖子的预览。

不同FOV的能力

该图显示了在不同的视场下可以检测到哪些动作单位(AU)。 牢记 这是一个简略的分类 的不同FOV可能或不可能。 (如果你想了解下脸和组合形状的预测情况。 我可以接受咨询.)条件将根据其他因素而改变,如:。

  • 摄像角度
  • 耳机在脸上的安放方式。(耳麦重吗?它的重量和压力如何影响面部的各个部位?)
  • 个人解剖学(我有想法,如何将脸部的变化按章节分类。再一次。 可供咨询.)

如果你正在研究头戴式人脸追踪,不要让假设限制你的潜力。人脸是复杂的,充满了线索。你所需要做的就是找到正确的线索,你可以用一点时间完成很多事情。

钥匙

AU1 = 眉毛内收器
AU2 =外眉毛提升器
AU4 =降眉器
AU5 =上盖提升器
AU6 = 颧骨矫正器
AU7 = 拧紧盖子
AU9 = 鼻涕虫
AU10 =上唇提升器
AU12 = 唇角拉手 

绿盒 =在大多数强度水平上都能检测到,对面部结构有很强的适应性。
黄箱 = 可在中等至高强度水平上检测到,对面部结构的影响较小。
橙盒 =取决于强度水平,易受某些面部结构的影响

具有不同FOV的VR头盔闭塞指南

这是一个高级帖子的预览。
要查看完整的帖子,请看下面的按钮。