Volgen wat je niet kunt zien

Gedurende de jaren dat ik met gezichtsherkenning bezig ben geweest, heb ik onder ingenieurs en onderzoekers het bijgeloof opgemerkt dat je gezichtsherkenningspunten (zoals wenkbrauwen, ogen en mond) niet kunt volgen als ze buiten het camerabeeld vallen. Dit geloof is niet helemaal waar. Je hoeft een wenkbrauw niet te zien om te weten of hij omhoog of omhoog gaat, en je hoeft de neus niet te zien om te weten of hij rimpelt.

Onze gezichten bollen op, rekken uit en rimpelen uniek bij elke gezichtsactie. Ik heb deze veranderingen gebruikt om labelaars te trainen om discrete uitdrukkingen te herkennen en nauwkeurig te classificeren op basis van alleen huidbewegingen. Met goed gerichte documentatie, een uitgebreide set voorbeelden en een hoogwaardige camera kun je grenzen aan informatie extrapoleren met een beperkte FOV.

De minimale FOV die nodig is voor eye-tracking is vaak genoeg om een handvol acties te volgen. Beeld A (in de afbeelding hieronder) is het meest representatief voor hoe een blikgebaseerde tracker eruit kan zien. Hoewel het hoofddoel van eyetrackingcamera's is om net genoeg van het oog te bedekken om veranderingen in de blik te observeren, is het potentieel veel groter. Zelfs met deze geconcentreerde weergave kun je nog steeds het volgende detecteren bovenste dekselverhoger (AU5), wangverhoger (AU6) en dekselspanner (AU7) met een relatief hoge mate van zekerheid. Deze acties zijn nuttig voor hun toepassingen in het meten van aandacht, reacties en betrokkenheid; het zijn ook cruciale signalen in communicatie.

Veel mensen raken geblokkeerd door namen van actie-eenheden zoals wangverhoger en veronderstellen, "We kunnen niet volgen wangverhoger omdat onze FOV het wanggebied niet dekt." Maar wangverhoger is meer dan de naam doet vermoeden; het is een actie die wordt veroorzaakt door het samentrekken van de orbicularis oculi, een spier die de oogcontour omgeeft. Hoewel bewegingen van de orbicularis oculi invloed hebben op de wangen, vinden veel veranderingen plaats in het gebied rond de oogkas. Zolang je een marginaal zicht hebt op de ooghoeken of een stukje huid onder het onderste ooglid, kun je bepalen of wangverhoger plaatsvindt. Soortgelijke concepten zijn van toepassing op de andere acties die ik in de afbeeldingen hieronder heb opgesomd. 

Mogelijkheden met verschillende FOV's

Deze grafiek laat zien welke actie-eenheden (AU's) kunnen worden gedetecteerd met verschillende gezichtsvelden. Houd er rekening mee dat dit een beknopte uitsplitsing is van wat wel of niet mogelijk is met verschillende FOV's. (Als je meer wilt weten over voorspellingen voor lagere gezichts- en combinatievormen, Ik ben beschikbaar voor overleg.) De omstandigheden zullen veranderen op basis van extra factoren zoals de camerahoek en hoe de headset op het gezicht rust. (Is de headset zwaar? Welk effect hebben het gewicht en de druk op verschillende delen van het gezicht?) 

Als je werkt aan in-headset face-tracking, laat je dan niet beperken door aannames. Het gezicht is ingewikkeld en zit vol aanwijzingen. Je hoeft alleen maar de juiste aanwijzingen te vinden en je kunt met weinig veel bereiken.