跟踪您看不到的东西

在我从事人脸追踪工作的这些年里，我观察到工程师和研究人员有一种迷信，即当面部地标（如眉毛、眼睛和嘴巴等特征）落在摄像机视野之外时，你就无法追踪它们。这种想法并不完全正确。你不需要看到眉毛就能知道它是抬头还是皱眉，你也不需要看到鼻子就能知道它是在皱眉。

我们的脸会随着每个面部动作而独特地鼓起、拉伸和皱纹。我已经使用这些变化来训练标签器，以便仅从皮肤运动中识别和准确分类离散的表情。通过精心指导的文档、一套全面的例子和一台高质量的相机，你可以在有限的FOV下推断出信息的界限。

眼球追踪所需的最小FOV往往足以追踪少数动作。视图A（在下面的图像集中）最能反映出基于凝视的跟踪器视图的样子。虽然眼球追踪相机的主要目标是只覆盖足够的眼球来观察目光的变化，但它的潜力要大得多。即使有了这种集中的视角，你仍然可以检测出 上盖板 (AU5)。 腮帮子 (AU6)，和 拧紧器 (AU7)具有相对高的确定性。这些动作在测量注意力、反应和参与方面的应用很有用；它们也是交流中的关键信号。

很多人都会被行动单位的名字所阻挡，如 腮帮子 并认为，"我们无法追踪 腮帮子 因为我们的FOV没有覆盖脸颊区域。"但是 腮帮子 它比它的名字所显示的要多；它是由眼轮匝肌的收缩引起的动作，眼轮匝肌是围绕眼睛区域的肌肉。虽然眼轮匝肌的运动确实影响到脸颊，但许多变化实际上发生在眼窝部位。只要你能看到眼角的边缘或下眼睑下的一截皮肤，你就能确定是否有 腮帮子 正在发生。类似的概念也适用于我在下面的图片中列出的其他动作。 

不同FOV的能力

该图显示了在不同的视场下可以检测到哪些动作单位（AU）。 请记住，这是对不同FOV下可能或不可能的情况的简略分解。 如果你想了解对较低脸型和组合形状的预测。 我可以接受咨询.)条件将根据其他因素发生变化，如相机角度和耳机在脸上的安放方式。(耳机重吗？它的重量和压力如何影响面部的各个部位？) 

如果你正在研究头戴式人脸追踪，不要让假设限制你的潜力。人脸是复杂的，充满了线索。你所需要做的就是找到正确的线索，你可以用一点时间完成很多事情。