Śledzenie tego, czego nie widać

Przez lata pracy nad śledzeniem twarzy, zaobserwowałem przesąd wśród inżynierów i badaczy, że nie można śledzić punktów orientacyjnych twarzy (cech takich jak brwi, oczy i usta), gdy znajdują się one poza polem widzenia kamery. To przekonanie nie jest do końca prawdziwe. Nie musisz widzieć brwi, aby wiedzieć, czy się podnoszą, czy marszczą, nie musisz też widzieć nosa, aby wiedzieć, kiedy się marszczy.

Nasze twarze wybrzuszają się, rozciągają i marszczą w unikalny sposób przy każdym działaniu mimicznym. Wykorzystałem te zmiany do wytrenowania etykieciarek, aby rozpoznawały i dokładnie klasyfikowały dyskretne wyrazy na podstawie samych ruchów skóry. Dzięki dobrze opracowanej dokumentacji, wyczerpującemu zestawowi przykładów i wysokiej jakości kamerze można ekstrapolować wiele informacji przy ograniczonym polu widzenia.

Minimalne pole widzenia wymagane do śledzenia wzroku jest często wystarczające do śledzenia kilku czynności. Widok A (w zestawie obrazów poniżej) najbardziej odzwierciedla to, jak może wyglądać widok trackera opartego na spojrzeniu. Choć głównym celem kamer śledzących ruchy gałek ocznych jest objęcie tylko wystarczającej części oka, aby obserwować zmiany w spojrzeniu, ich potencjał jest znacznie większy. Nawet przy tak skoncentrowanym widoku, nadal można wykryć podnośnik górny pokrywy (AU5), raiser policzkowy (AU6), oraz zaciskarka pokrywy (AU7) ze stosunkowo wysokim stopniem pewności. Działania te są użyteczne ze względu na ich zastosowanie w mierzeniu uwagi, reakcji i zaangażowania; są one również kluczowymi sygnałami w komunikacji.

Wiele osób jest blokowanych przez nazwy jednostek organizacyjnych takich jak raiser policzkowy i założyć, "Nie możemy namierzyć raiser policzkowy bo nasze pole widzenia nie obejmuje obszaru policzka." Ale raiser policzkowy to coś więcej niż zdradza jego nazwa; jest to działanie spowodowane skurczem mięśnia okrężnicy (orbicularis oculi), który otacza okolice oczu. Choć ruchy mięśnia okrężnicy mają wpływ na policzki, wiele zmian zachodzi w okolicach oczodołu. Jeśli tylko masz niewielki widok na kąciki oczu lub skrawek skóry pod dolną powieką, możesz określić, czy raiser policzkowy jest zachodzące. Podobne koncepcje dotyczą innych działań, które wymieniłem na poniższych obrazkach. 

Możliwości przy różnych FOV

Ten wykres pokazuje, jakie jednostki akcji (AU) można wykryć przy różnych polach widzenia. Należy pamiętać, że jest to skrócony podział tego, co może lub nie może być możliwe z różnymi FOV (jeśli chcesz dowiedzieć się o przewidywaniach dla niższych kształtów twarzy i kombinacji, Jestem dostępny na konsultacje.) Warunki będą się zmieniać w zależności od dodatkowych czynników, takich jak kąt nachylenia kamery i sposób ułożenia zestawu słuchawkowego na twarzy. (Czy zestaw słuchawkowy jest ciężki? W jaki sposób jego waga i nacisk wpływają na różne części twarzy)? 

Jeśli pracujesz nad śledzeniem twarzy w zestawie słuchawkowym, nie pozwól, aby założenia ograniczyły Twój potencjał. Twarz jest skomplikowana i pełna wskazówek. Wystarczy tylko znaleźć właściwe wskazówki, a z niewielkiej ilości można osiągnąć bardzo wiele.