Obcházení okluze náhlavní soupravy VR při sledování obličeje

Sledování toho, co nevidíte

Během let práce v oblasti sledování obličeje jsem mezi inženýry a výzkumníky pozoroval pověru, že nelze sledovat orientační body obličeje (rysy jako obočí, oči a ústa), pokud se nacházejí mimo záběr kamery. Toto přesvědčení není zcela pravdivé. Nepotřebujete vidět obočí, abyste věděli, zda se zvedá nebo krčí, a nepotřebujete vidět nos, abyste věděli, kdy se krčí.

Naše obličeje se při každé činnosti obličeje jedinečným způsobem vyklenují, protahují a vrásní. Tyto změny jsem využil k tréninku štítkovačů, které rozpoznávají a přesně klasifikují diskrétní výrazy pouze na základě pohybu kůže. S dobře zaměřenou dokumentací, obsáhlou sadou příkladů a kvalitní kamerou můžete extrapolovat hranice informací s omezeným FOV.

Minimální FOV potřebný pro sledování očí často stačí na sledování několika akcí. Pohled A (v sadě obrázků níže) nejvíce odráží to, jak může vypadat pohled založený na sledování pohledem. Ačkoli hlavním cílem kamer pro sledování očí je pokrýt právě takovou část oka, aby bylo možné sledovat změny pohledu, jejich potenciál je mnohem větší. I při takto soustředěném pohledu lze zjistit. zvedák horního víčka (AU5), zvyšovač lícní kosti (AU6) a utahovák víka (AU7) s poměrně vysokou mírou jistoty. Tyto akce jsou užitečné pro své využití při měření pozornosti, reakcí a zapojení; jsou také rozhodujícími signály v komunikaci.

Mnoho lidí je blokováno názvy akčních jednotek jako např. zvyšovač lícní kosti a předpokládat, že "Nemůžeme sledovat zvyšovač lícní kosti protože náš FOV nepokrývá oblast tváří." Ale zvyšovač lícní kosti je víc, než prozrazuje jeho název; je to činnost způsobená kontrakcí orbicularis oculi, svalu obklopujícího oblast očí. Ačkoli pohyby orbicularis oculi mají vliv na tváře, mnoho změn se ve skutečnosti odehrává v oblasti očního důlku. Pokud máte k dispozici okrajový pohled na oční koutky nebo kousek kůže pod dolním víčkem, můžete určit, zda je či není zvyšovač lícní kosti dochází. Podobné koncepty platí i pro další akce, které jsem uvedl na obrázcích níže. 

Schopnosti s různými FOV

Tento graf ukazuje, které akční jednotky (AU) je možné detekovat v různých zorných polích. Mějte na paměti, že se jedná o zkrácený přehled toho, co může, ale nemusí být možné s různými FOV. (Pokud se chcete dozvědět o předpovědích pro nižší tvary obličeje a kombinace, Jsem k dispozici pro konzultace.) Podmínky se mění v závislosti na dalších faktorech, jako je úhel kamery a způsob, jakým náhlavní souprava spočívá na obličeji. (Je náhlavní souprava těžká? Jak její hmotnost a tlak působí na různé oblasti obličeje?) 

Pokud pracujete na sledování obličeje v náhlavní soupravě, nenechte se omezovat předpoklady. Obličej je složitý a plný vodítek. Stačí jen najít správné stopy a můžete dosáhnout hodně z mála. 

Zbývající obsah je určen pro Prémioví členové pouze. Pokud jste členem, přihlásit se a vraťte se na tuto stránku :)!

2 komentáře u „Bypassing VR Headset Occlusion in Face Tracking“

  1. To je brilantní a informativní. Teď mám lepší představu o tom, jak zjistit emoce lidí během Halloweenu! Hmm... ještě potřebuji databázi výrazů a emocí namapovaných na atributy AU (které mohou být dále rozděleny podle tvaru, šířky, hloubky, typu pleti). Tento obor je fascinující!

  2. Ahoj
    hledala jsem práci online , předtím jsem absolvovala kurz FACS a pracovala jsem v affectiva Co.
    Díky

Napsat komentář

Tento web používá Akismet k omezení spamu. Zjistěte, jak jsou zpracovávána data vašich komentářů.

Navrženo pro studia a týmy

Pojďme si promluvit.

facetheFACS@melindaozel.com