Jak porównać FACS do tego, co robi się w deep learningu?

Większość firm zajmujących się śledzeniem twarzy i emocji polega na FACS do uczenia maszynowego. Używają FACS do mapowania swoich rurociągów danych. Zbierają dane z wyrażeniami opartymi na FACS. Trenują swoje maszyny za pomocą klasyfikacji opartej na FACS, itp. Nawet jeśli nie używasz podejścia opartego na FACS, nadal potrzebujesz FACS, aby zidentyfikować i przekazać obszary niepowodzeń, aby ocenić potrzeby danych w celu ulepszenia technologii.

Czy istnieją jakieś istniejące zestawy danych FACS, których moglibyśmy użyć do trenowania modelu uczenia maszynowego z twarzą i mową?

Z tego, co widziałem, pracując w technice nad śledzeniem twarzy, większość zestawów danych jest usiana nieczystymi danymi. Musiałbyś być w stanie prześwietlić dane i oczyścić wiele śmieci. Jeśli masz zasoby, zalecane jest tworzenie wewnętrznych systemów zbierania danych i etykietowania. Jeśli budujesz własne zespoły danych, przeczytaj Uprzedzenia w śledzeniu emocji.

Czy polecasz jakieś aplikacje, które wyodrębniają FACS solidnie? Czy możesz polecić jakąś aplikację do ekstrakcji FACS?

Jeśli przez aplikację wydobywającą FACS masz na myśli - automatyczny detektor / tracker FACS - powiedziałbym, że nie. Nie polecam zdecydowanie żadnych aplikacji. Niektóre aplikacje mogą wykryć bardzo proste, intensywne ekspresje; jednak często zawodzą w wykrywaniu subtelnych lub warstwowych ekspresji. Myślę, że jesteśmy daleko od czegoś, co jest rzeczywiście solidne, zwłaszcza ze względu na zaniedbanie danych przez większość wiodących firm technologicznych. Czytaj dalej Tutaj oraz Tutaj.

iPhony mają 52 wyrazy, czy to wystarczy do dobrej animacji? Jeśli nie, jak użyć iPhone'a, aby dodać więcej kształtów FACS?

Czy idziesz w kierunku półstylowej do bardzo stylizowanej postaci z podstawowymi ruchami? Jeśli tak, to może być dobrze. Jeśli idziesz do bardziej fotorealistycznych i ekspresyjnych postaci, to nie dostaniesz się do poziomu jakości, którego będziesz potrzebować. Jako ktoś, kto jest bardziej po stronie obserwacji i krytyki rzeczy, nie mógłbym ci powiedzieć, jak dodać więcej kształtów FACS; jednak jestem dostępny do konsultacji, jeśli chciałbyś mi powiedzieć, jakie masz potrzeby dla swoich postaci / co chcesz osiągnąć w zakresie ekspresyjności / jakie kształty możesz potrzebować dodać, aby uzyskać to, co chcesz: facetheFACS@melindaozel.com

Mamy boom na żywe awatary 3D, ale brakuje im dużo mimiki twarzy. Jak myślisz, jak możemy poprawić cyfrowe występy ludzkie w czasie rzeczywistym?

Składają się na to dwie części:

1. Technologia. Technologia śledzenia twarzy nie jest w pełni tam, gdzie chcielibyśmy, aby była. Udane awatary na żywo mogą być wykonane poprzez harmonizację technologii z sztuką. Należy przeprowadzić szeroko zakrojone badania i obserwacje, aby ocenić, jak technologia śledzenia reaguje na różne twarze. Dodatkowo, należy ocenić cele awatarów. W zależności od kontekstu, jakie ekspresje są priorytetowe? W zależności od sytuacji, w których awatary są wykorzystywane, różne ekspresje będą miały różne poziomy priorytetu.

2. Sztuka. Nawet jeśli technologia nie jest tam, gdzie chcielibyśmy, aby była, możesz udawać wiele z tego poprzez sztukę. Udawanie tego poprzez sztukę może być wykonane, gdy masz jasny pomysł na to, co nie działa w technologii i co chcesz potraktować priorytetowo w ekspresji awatara. Kiedy byłem w Meta, intensywnie pracowałem z danymi i badałem, jak technologia działa na różnych twarzach. Możliwość zidentyfikowania tych niedociągnięć pozwoliła mi na efektywną współpracę z modelarzem w celu zamaskowania powtarzających się problemów poprzez stronę artystyczną. Najbardziej udany wygląd awatarów uzyskuje się dzięki sztuce maskującej problemy techniczne.

Jak różne akcenty mogą być obsługiwane przez FACS i jak różne wymowy wpływają na mimikę twarzy / ruchy dla stylizowanych postaci?

Najmniejsze znaczące jednostki dźwięku w języku mówionym nazywane są fonemami. Różne języki składają się z różnych zestawów fonemów. W sztuce i technice mowy, fonemy są pogrupowane według tego, jak wyglądają, kiedy są produkowane. Innymi słowy, fonemy są pogrupowane na podstawie ogólnych kształtów, jakie tworzą nasze usta podczas ich produkcji. Te wizualnie pogrupowane fonemy są określane jako visemes. Przykładem odrębnych fonemów, które tworzą jeden wizem, są głoski dwugłosowe: B, M i P. Chociaż B, M i P są odrębnymi fonemami, to kiedy produkujemy te dźwięki, nasze usta przyjmują zasadniczo tę samą konfigurację. Produkcja B, M i P wygląda tak samo; dlatego B, M i P tworzą jeden wizem. Kształty FACS mogą być użyte do ogólnego przedstawienia wizemu, choć może brakować drobnych szczegółów (omówionych na końcu tej odpowiedzi).

Akcenty powstają, gdy w tym samym słowie występują różne fonemy. Na przykład, rozważmy słowo "samochód". Amerykańska wersja angielskiego wymawia "a" w car inaczej niż brytyjska wersja angielskiego; dlatego amerykański angielski używa innego fonemu Dodatkowo, amerykańska wersja angielskiego wymawia "r", podczas gdy brytyjska wersja angielskiego nie. 

Chociaż "samochód" jest tym samym słowem o tym samym znaczeniu zarówno w amerykańskim, jak i brytyjskim angielskim, jego wymowa składa się z różnych fonemów w zależności od tego, który angielski jest używany.

Jeśli kształty FACS są używane do tworzenia szkieletu visemu, a słowo wymawiane z różnymi akcentami składa się z różnych fonemów, to słowo to często składa się również z różnych visemów. Zróżnicowany wzór viseme oznacza, że różne kształty FACS mogą być zastosowane do tych samych słów pod różnymi akcentami. Ten podział oznacza, że bardzo ważne jest, aby brać pod uwagę dźwięki mowy i opcje fonemowe słów - nie litery, które tworzą same słowa.

Główne problemy z FACS i mową będą pochodzić z fonemów produkowanych poza mechaniką ekspresji twarzy - np. języki gutturalne. Dodatkowo, FACS w ogóle ma kilka brakujących ogniw, jeśli chodzi o kształty mowy - nawet dla amerykańskiego angielskiego. Ten brak jest powodem, dla którego zdefiniowałem podjednostki działania, takie jak "pionowy zaciskacz warg" i "dimpler osi Z". (Zob. FACS Cheat Sheet dla szczegółów).