Odpowiedzi na pytania dotyczące wyrazu twarzy i FACS!
Poniższy tekst jest mieszanką często i rzadko zadawanych pytań związanych z Facial Action Coding System (FACS) i mimiką twarzy. Odpowiedzi są skierowane głównie do animatorów, modelarzy, riggerów i innych artystów, jak również do badaczy i inżynierów pracujących nad technologią śledzenia twarzy i cyfrowymi ludźmi. Ponieważ tekstu jest dużo, zaleca się przeglądanie według sekcji lub używanie Ctrl+F do wyszukiwania słów kluczowych.
Podstawy FACS
Co to jest FACS (Facial Action Coding System)?
FACS, czyli Facial Action Coding System, to system klasyfikacji zaprojektowany w celu nazwania i opisania widocznych ruchów ludzkiej twarzy. Ponieważ FACS jest oparty na anatomii i udokumentowany w sposób bardzo szczegółowy, pozwala nam rozłożyć skomplikowaną ekspresję twarzy w sposób obiektywny i standaryzowany.
Pełne wyjaśnienie już wkrótce!
Porady dotyczące nauki i studiowania
Gdzie polecacie początkującym studiować FACS?
To zależy. Jeśli jesteś artystą, możesz studiować FACS za pośrednictwem tej strony internetowej, mojej FACS Cheat Sheet, podręcznik FACS lub mój FACS Cram Session; jednakże oficjalny podręcznik FACS może nie być tak opłacalny, chyba że jesteś gotów poświęcić czas i pieniądze ($350) na przebrnięcie przez 500 stron tekstu napisanego językiem podręcznikowym, przeznaczonego dla innych odbiorców. Podręcznik nie będzie zawierał zbyt wielu istotnych informacji dla artystów., ponieważ został zaprojektowany specjalnie w celu nauczenia użytkowników kodowania ruchów twarzy za pomocą ustrukturyzowanych metod badawczych.
Jeśli jesteś w środowisku akademickim lub technicznym i chcesz prowadzić badania behawioralne, ucz się oficjalnie FACS poprzez podręcznik FACS i uzupełniaj brakujące wizualizacje za pomocą moja strona internetowa, FACS Cheat Sheet, lub mój FACS Cram Session. Dla badaczy akademickich Erika Rosenberg prowadzi warsztaty dla aspirujących koderów twarzy.
FACS wydaje się bardzo skomplikowany. Gdzie i jak powinni zacząć studenci tacy jak ja?
FACS może wydawać się skomplikowany, ale rzeczywista twarz jest jeszcze bardziej skomplikowana. Stworzyłem Zmierz się z FACS-emponieważ FACS Manual może być gęsty, a nie ma tam dostępnych (lub jakościowych) zasobów. Jak wspomniano powyżej, możesz skorzystać z zasobów na mojej stronie internetowej, zarówno bezpłatnie oraz Zapłacony. Możesz także śledzić moje socials dla więcej darmowych referencji, wskazówek i postów informacyjnych (Instagram: @manicexpression / Twitter: @melindaozel /. LinkedIn).
Czy istnieje biblia FACS? Gdzie mogę znaleźć referencje różnych FACS AU (jednostek akcji)?
Prawdziwą biblią FACS jest podręcznik FACS, ale ja zawsze dodaję coś do swojego FACS Cheat Sheet! Ten arkusz jest przeznaczony do zaprezentowania podstawowych AU. Mam kombinacje kształtów dostępne dla Członkowie Premium, a także często zamieszczam darmowe referencje na wszystkich moich kontach społecznościowych (Instagram: @manicexpression / Twitter: @melindaozel /. LinkedIn). Aby zamówić konkretne kombinacje AU, wypełnij formularz na dole tej strony.
Jakieś sztuczki, które pomogą artystom nie dać się przytłoczyć, gdy patrzą na Zmierz się z FACS-em język? Dla bardziej zielonych artystów okazuje się, że szybko dają się omotać przez wyzwalanie zbyt wielu kształtów na raz, co może skończyć się kontr animacją.
Zacznij od fragmentów twarzy. Zacznij od brwi - te są najłatwiejsze. Zwróć uwagę na nazwy FACS; mogą one brzmieć przerażająco na początku, ale kiedy zdasz sobie sprawę, że ich nazwy oddają definicję ich ruchów, staną się twoim przyjacielem! Na przykład - Co oznacza "inner brow raiser"? To znaczy, że wewnętrzna część twojej brwi jest podnoszona! Ucz się podstawowej anatomii wraz z FACS. Ćwicz wykonywanie kształtów na własnej twarzy. Zacznij obserwować ruchy w prawdziwym życiu i podczas oglądania filmów / programów / filmów w mediach społecznościowych. Ruchy oparte na ustach zachowaj na koniec.
Jeśli chodzi o zapędzanie się w wyzwalaniu zbyt wielu kształtów na raz - posiadanie podstawowego zrozumienia anatomii twarzy i FACS pozwoli ci na studiowanie wspólnych ruchów i kombinacji, które występują w świecie naturalnym. Obserwacje w świecie rzeczywistym pomogą Ci w opracowaniu strategii, co i kiedy wyzwalać.
Jakie są Twoje ulubione zasoby / tutoriale, aby stać się biegłym w FACS?
Stworzyłem Zmierz się z FACS-em, ponieważ źródła spoza oficjalnego podręcznika FACS prawie zawsze zawierają niedokładne informacje i odniesienia. Sam podręcznik może być również niejasny w odniesieniu do niektórych ruchów twarzy. Zajęło mi lata samodzielnej nauki i obserwacji, aby naprawdę zrozumieć takie ruchy, jak “zaciskanie ust”, “pogłębianie bruzdy nosowo-wargowej”, “ściskanie nozdrzy” itp. Celem tej strony internetowej jest zminimalizowanie niejasności związanych z FACS i zwalczanie fałszywych wiadomości dotyczących twarzy.
Wystarczającą biegłość w zakresie FACS nabyłem dzięki podręcznikowi FACS oraz mentorom, których miałem podczas stażu w Zurich Interaction and Expression Laboratory: Willibaldowi Ruchowi, Tracey Platt i Jennifer Hofmann. Od tego momentu wszystko, czego się nauczyłem, pochodziło z doświadczenia, praktyki i obserwacji świata rzeczywistego.
Jeśli chodzi o materiały dotyczące anatomii dla początkujących, polecam:
- Twarz człowieka i język mimiczny autorstwa Carla-Hermana Hjortsjö. Ta bezpłatna książka do pobrania jest przyjaznym dla artystów źródłem wiedzy dla tych, którzy chcą zrozumieć zarówno FACS, jak i anatomię twarzy. Hjortsjö jest w zasadzie prekursorem FACS. Bez jego wkładu w badania nad anatomią twarzy i ruchami twarzy, FACS byłoby tylko ułamkiem tego, czym jest obecnie. Znaczna część FACS została zapożyczona z prac Hjortsjö, choć nigdy nie otrzymał on wystarczającego uznania.
- Anatomia człowieka dla artystów: The Elements of Form autorstwa Eliota Goldfingera. Uwielbiam to, jak ta książka rozkłada mięśnie twarzy w skuteczny i jednocześnie uproszczony sposób. Jest to najbardziej przejrzysta, najdokładniejsza książka, jaką spotkałem i faktycznie uznaje różnorodność mięśni twarzy. Dla zaawansowanych zasobów anatomii, będziesz musiał iść na polowanie na pracę badawczą!
Czy istnieją jakieś zasoby, które mógłbyś polecić do znalezienia dobrych referencji na temat twarzy? Budujemy konwersacyjną sztuczną inteligencję. Ja pracuję nad animacją, ekspresją i ruchami ciała. W większości wykonujemy naszą pracę ręcznie i nasze postacie często wyglądają nienaturalnie.
Mój FACS Cheat Sheet oraz cała strona są pełne odniesień do podstawowych wyrażeń, emocji i przemówienie. Jestem dostępny w celu konsultacji. jeśli chcesz uzyskać pomoc, by twoje postacie wyglądały bardziej naturalnie.
Jakie jest najlepsze podejście do nauki FACS, jest dużo informacji. Czy istnieją jakieś strategie lub techniki, aby nauczyć się ich bardziej efektywnie?
Najlepszym podejściem jest podzielenie twarzy na sekcje, np. brwi, oczy, środkowa część twarzy, dolna część twarzy. Upewnij się, że za pierwszym razem dobrze nauczysz się każdej sekcji. Ta strona internetowa została stworzona właśnie w tym celu. Kiedy już opanujesz podstawy FACS, następnym krokiem jest cierpliwość. Z czasem wszystko stanie się jasne, jeśli będziesz uważnie obserwować.
Zajmuję się badaniem twarzy od ponad 13 lat i nadal niektóre kwestie budzą moje wątpliwości. Nawet anatomiści mają trudności z osiągnięciem porozumienia w niektórych kwestiach dotyczących klasyfikacji i podziału mięśni twarzy, więc pamiętaj o tym, gdy następnym razem poczujesz frustrację lub przytłoczenie!
Emocje, zachowanie i kultura
Jak FACS pomaga nam rozpoznać rzeczywiste ludzkie emocje?
FACS pomaga nam rozłożyć mimikę twarzy i wskazać, które mięśnie są używane; pomaga nam rozpoznać wzorce i zidentyfikować, co dzieje się na twarzy w różnych momentach i w różnych sytuacjach.
Czy istnieje równowaga między rozbijaniem rzeczy w sztuce a łatwością w wyrażaniu emocji?
Wiele wspólnych wyrazów twarzy emocji ma te same działania na twarzy; więc zależy to od projektu. W niektórych przypadkach zbijanie rzeczy razem jako zestawy emocji skończy się na tym, że będzie toporne i ograniczające. W innych przypadkach może to być pomocne.
Czy istnieją różnice kulturowe w FACS? Muszą istnieć pewne różnice w ekspresji i prezentacji emocji.
FACS to system, który opisuje ruchy mięśni twarzy. Chociaż wszyscy mamy różnice w kształtach, rozmiarach, obecności, konfiguracji i sile mięśni twarzy - mięśnie nie zmieniają się w zależności od kultury; jednak działania, których używasz, aby wyrazić siebie, będą się różnić, a te różnice mogą być mierzone przez FACS. Zdolność do identyfikacji wzorców i różnic w zachowaniu twarzy jest powodem, dla którego FACS został opracowany!
Anatomia
Czy możesz opowiedzieć o tym, w jaki sposób mięśnie twarzy wytwarzają określoną ekspresję? Czy wszystkie mięśnie łączą się z kością, czy też niektóre z nich łączą się z innymi mięśniami lub powięzią? Jakie są niektóre z bardziej złożonych interakcji mięśniowych?
Tak, mógłbym o tym mówić przez wiele dni i mieć wiele wpisów na ten temat w całej tej witrynie. Nie, nie wszystkie mięśnie twarzy są połączone z kością. Niektóre są; niektóre nie są. Istnieje mnóstwo różnic w zakresie tego, jak mięśnie twarzy są połączone. Ponieważ zmienność mięśni twarzy jest jednym z moich ulubionych tematów badawczych, zebrałem bibliotekę informacji na temat różnorodności twarzy; jednak ze względu na intensywny czas spędzony na zdobywaniu tego korpusu badań, rezerwuję moje ustalenia dla wykłady na poziomie zaawansowanym lub klienci. To powiedziawszy – planuję stworzyć ściągawkę przedstawiającą pochodzenie i umiejscowienie każdego mięśnia twarzy odpowiedzialnego za poszczególne ruchy twarzy. Mam nadzieję, że to pomoże 🙂 !
FACS jest dość dobrze udokumentowanym systemem zbudowanym wokół mięśni, ale trudno jest znaleźć informacje o warstwach znajdujących się na wierzchu mięśni. Czy masz jakieś rady, jak możemy dowiedzieć się więcej o takich rzeczach, jak poduszki tłuszczowe na twarzy i przesuwanie się lub zwiotczenie skóry?
Amen! Zdecydowanie brakuje dostępnych zasobów na tematy, które opisałeś. Jestem fanem praktyka estetyki, Tima Pearce'a. Ma kilka świetnych rozpad tłuszczu twarzy na jego kanale YouTube kanał. Jest też sporo dobrych artykułów o anatomii. Obserwacja i dokumentowanie własnych przykładów to zawsze dobry pomysł. Patrząc na schematy anatomii twarzy, pamiętaj, że to uproszczone przedstawienie rzeczy, które mogą się bardzo różnić; dlatego obserwowanie ludzi w naturalnym środowisku i czytanie artykułów naukowych może być bardzo pomocne.
Animacja
Czy podczas wykonywania FACS dla animacji twarzy przedmiotów, musisz stworzyć niestandardowy zestaw FACS dla każdej tożsamości, aby zmaksymalizować naturalność?
Jeśli Twoje postacie są bardziej realistyczne, bardzo skuteczne może być stworzenie różnych opcji kształtów wyrazu twarzy. Na przykład:, kiedy unosimy brwi, nasze czoła marszczą się w różny sposób. Chociaż pełne uniesienie brwi obejmuje uniesienie wewnętrznej i zewnętrznej części brwi, sposób, w jaki uniesienie wewnętrznej i zewnętrznej części brwi jest wyrażane na każdej twarzy, ma swoje unikalne cechy. Istnieje wiele sposobów kategoryzowania i grupowania tych różnic w celu stworzenia różnorodności i opcji. W przeszłości współpracowałem ze studiami nad tworzeniem takich rozwiązań i chętnie zrobię to ponownie. Zapraszam do przedstawiania mi projektów na adres facetheFACS@melindaozel.com.
Whats typowy proces animacji twarzy 3D po posiadaniu mapy FACS? Czy możesz przejść od wideo osoby mówiącej -> wyodrębnić gęstą mapę punktów orientacyjnych twarzy -> animowaną twarz 3D?
Jako osoba nie będąca animatorem nie jestem w stanie odpowiedzieć, jak wygląda typowy proces; mogę jednak powiedzieć, że zautomatyzowane próby odtworzenia mowy z filmów przedstawiających ludzi mówiących zawsze mają zniuansowane - ale wysoce wiarygodne - błędy dla różnych formacji ust wymaganych do mowy.
Jakie są najczęstsze błędy popełniane przez zespoły animatorów podczas wprowadzania rigu w stylu FACS do cyfrowego potoku ludzkiego?
Posiadanie niedokładnych kształtów FACS jest największym problemem. Inne duże problemy to: 1. nieuwzględnianie drugorzędnych i trzeciorzędnych ruchów kształtu - np. utrzymywanie ruchu zbyt wyizolowanego i sztywnego, 2. rozbijanie podstawowego ruchu, by dać animatorom większą kontrolę - wtedy animatorzy nie pamiętają, by później połączyć te kawałki podczas kierowania ekspresją. Niektóre bardziej subtelne kwestie obejmują niedopasowanie zmarszczek do ruchu, ruch na poziomie powierzchni nie uwzględniający zmian głębokości itp.
Czy jest coś "zaskakującego", co odkryłeś w swoich badaniach, a o czym chciałbyś, żeby wiedziało więcej animatorów? Czy są jakieś zasady FACS, które według ciebie są pomijane przez nowych animatorów?
Cały czas odkrywam zaskakujące rzeczy! Jeśli chodzi o odkrycia, których chciałbym, żeby więcej animatorów było świadomych - chciałbym, żeby animatorzy byli świadomi podstawowych zasad ruchu twarzy. To ogromna przeszkoda, kiedy animator nie zna podstawowych zasad mechaniki twarzy i nie potrafi skutecznie przekazać swoich potrzeb innym działom, jak np. riggingowi.
Czy istnieją "sub" jednostki akcji lub mniejsze jednostki akcji, które zostały zdefiniowane przez animatorów, aby rozbić rzeczy dalej?
Istnieje wiele szkicowych "pod" jednostek akcji, które są wykonane dla celów łatwości użycia. Mówię "szkicowe", ponieważ jeśli te podjednostki nie są dobrze przemyślane i używane z ostrożnością, mogą skutkować nienaturalnymi ruchami twarzy.
Jeśli chodzi o uzasadnione podziały zgodne z anatomią, jestem pewien, że istnieją. Musiałem podzielić własną listę podjednostek akcji, aby lepiej zdefiniować ruchy mowy. Animatorzy zwrócili się do mnie z prośbą o pomoc w stworzeniu realistycznej mowy. Jedną z krytycznych jednostek subakcji, którą dodałem do moich zasobów FACS jest kształt, który nazywam "pionowym zaciskaniem ust". Możesz go wyszukać w Google lub na mojej stronie FACS Cheat Sheet aby dowiedzieć się więcej.
Rigging
Czy większość riggerów tworzy rigi FACS używając blend shape'ów czy jointów?
Ci, z którymi pracowałem, w większości używają blend shape'ów. Kształty blend dają bardziej jakościowe rezultaty, ale mogą być kosztowne i nieporęczne. Łączenia są tańsze, ale również gorzej wyglądają.
Nie jestem pewien jak dokładnie sformułować pytanie... Pamiętając, że celem control rigu jest uproszczenie skomplikowanych ruchów tak, by animator mógł pracować szybko i efektywnie (w przeciwnym razie będziemy tylko animować werty) - FACS wydaje się kłaść nacisk na rozbijanie rzeczy na poszczególne grupy mięśni (poziom anatomiczny). Jak według Ciebie animatorzy mogą kontrolować złożone grupy mięśni dokładnie, ale i "wygodnie"?
Wygodne kombinacje kształtów będą musiały być wykonane na podstawie indywidualnych przypadków. To zależy od kontekstu - jak projekt postaci, zachowanie postaci, pożądana publiczność itp. Chciałbym współpracować z riggerem, aby stworzyć narzędzia, które mogą pomóc animatorom w skomplikowanym budowaniu kształtów dla konkretnych scenariuszy.
Pracowałem przy odcinku Marvela "What If?" nad postacią, która miała tylko 5 kształtów na face rigu. Czy uważasz, że istnieje stylizacja, która może obejść się bez mniejszej ilości FACSów, aby przekazać różnorodne emocje?
Niesamowite, że na face rigu było tylko 5 kształtów! To stawia wiele rzeczy w odpowiedniej perspektywie. Myślę, że stylizacja może się obejść bez mniejszej ilości kształtów FACS. To zależy od postaci. Na przykład Emojis nie mają nosów, więc to eliminuje kilka kształtów. Jeśli chciałbyś animować Hello Kitty, nie musiałbyś się martwić o kształty ust czy brwi. W niektórych stylizowanych ludziach, mógłbyś usunąć garść kształtów, które wyglądają wystarczająco podobnie do innych kształtów. I znowu, to zależy!
Jakie według Ciebie są 3-5 najważniejszych i najbardziej przydatnych AU do zbudowania fundamentalnej postaci (może coś w rodzaju małej kolekcji skał), aby wyrazić / emotować / "mówić"?
LOL. Kamień? Jeśli to tylko mówienie: kilka wyrazów brwi i kilka prostych ruchów ust. Żeby powiedzieć ci więcej, musiałbyś być klient!
Jaki jest zalecany przepływ pracy przy pracy z platformami FACS?
Zrób listy kontrolne. Miej pod ręką dokumentację. Istnieje tak wiele wyrażeń i opcji, że łatwo jest zapomnieć o rzeczach / stać się powtarzalnym przy tych samych ruchach.
Jakich wyrażeń głównych (AU) użyłbyś, gdybyś chciał stworzyć najbardziej zoptymalizowany system blend shape (na przykład, jeśli masz grę z bardzo ograniczonymi zasobami). Jak bardzo stonowany mógłbyś uczynić ten system w jego najbardziej podstawowej formie?
Zależy od gry. O czym jest ta gra? Jak wyglądają postacie w niej występujące? Co chcesz, aby Twoi odbiorcy czuli i doświadczali?
Modelowanie
Jak FACS ma się do kształtów blend? I czy jednostki akcji są przyjazne dla gier?
Kształty blend są zazwyczaj oparte na kształtach FACS lub kombinacji różnych kształtów FACS. Wiele firm produkujących gry używa FACS do swoich technologii i animacji. Możesz ustawić kontrolery, które reprezentują jednostki akcji.
Czy są jakieś niuanse w używaniu FACS podczas tworzenia stylizowanej, ale realistycznej postaci, takiej jak Alita z Alita Battle Angel?
Oczywiście. Zawsze, gdy zmieniasz struktury twarzy, pojawiają się wyzwania związane z tłumaczeniem ruchów i migracją ważnych punktów orientacyjnych twarzy.
Jaki modeler do budowy twarzy ma najdokładniejsze odwzorowania FACS? Jestem zaznajomiony z Character Creator i FaceBuilder.
Obecnie rezerwuję narzędzia do oceny na potrzeby klientów. Zapraszam do kontaktu, jeśli chciałbyś nawiązać współpracę: facetheFACS@melindaozel.com
VFX
W świecie animacji / VFX często pracujemy nad postaciami z bliznami / oszpeconymi. Czy badałeś przypadki urazów i jak mogą one wpłynąć na FACS?
Zajmowałem się badaniem wybranych urazów i chorób, które wpływają na mimikę twarzy. Jak dotąd najwięcej badań poświęciłem tak zwanemu zwichnięciu gałki ocznej – schorzeniu, w którym oczy mogą znacznie wystawać z oczodołów (czyli wyskakiwać z twarzy). Może być spowodowane chorobą tarczycy lub urazem głowy. Jest wiele innych interesujących przypadków, które warto zbadać. Podejmuję się ich badania dzień po dniu! Jeśli są konkretne rodzaje blizn lub urazów, które chcielibyście zobaczyć, napiszcie do mnie na adres facetheFACS@melindaozel.com.
Czy masz jakieś wskazówki, aby uniknąć "niesamowitych" uczuć na gadających zwierzętach, jak zastosować antropomorficzne ruchy bez tworzenia dziwnych uczuć? Na przykład różnica między Planetą Małp a filmami Lion King?
Jeśli sprawisz, że lew będzie wyglądał dokładnie jak lew, ale będzie mówił i... śpiewać dokładnie tak jak człowiek, będzie to wyglądało dziwnie. Nie można z tym wiele zrobić, poza kompromisem w kwestii realizmu. Osobiście chciałbym, aby trend przekształcania klasycznych filmów animowanych w fotorealistyczne remaki został zatrzymany. Pomijając osobiste odczucia, jeśli spojrzę na to z perspektywy pracy, istnieje wiele sposobów i kompromisów, które można zastosować, aby zmniejszyć wrażenie niesamowitości – ale nie sądzę, aby można było się go całkowicie pozbyć. Jeśli chodzi o Planet, znacznie łatwiej jest antropomorfizować zwierzęta o zdolnościach podobnych do ludzkich.
Czy są jakieś szczególne FACS ludzkie kształty / pozy, które uważasz, że przemysł VFX zmaga się z osiągnięciem w fotorealnych postaciach?
Najbardziej zauważalne, które widzę, to podniesienie policzków i zmarszczenie nosa; jest wiele innych subtelnych kształtów, które również można poprawić.
Technologia
Jak porównać FACS do tego, co robi się w deep learningu?
Większość firm zajmujących się śledzeniem twarzy i emocji polega na FACS do uczenia maszynowego. Używają FACS do mapowania swoich rurociągów danych. Zbierają dane z wyrażeniami opartymi na FACS. Trenują swoje maszyny za pomocą klasyfikacji opartej na FACS, itp. Nawet jeśli nie używasz podejścia opartego na FACS, nadal potrzebujesz FACS, aby zidentyfikować i przekazać obszary niepowodzeń, aby ocenić potrzeby danych w celu ulepszenia technologii.
Czy istnieją jakieś istniejące zestawy danych FACS, których moglibyśmy użyć do trenowania modelu uczenia maszynowego z twarzą i mową?
Z tego, co widziałem, pracując w technice nad śledzeniem twarzy, większość zestawów danych jest usiana nieczystymi danymi. Musiałbyś być w stanie prześwietlić dane i oczyścić wiele śmieci. Jeśli masz zasoby, zalecane jest tworzenie wewnętrznych systemów zbierania danych i etykietowania. Jeśli budujesz własne zespoły danych, przeczytaj Uprzedzenia w śledzeniu emocji.
Czy polecasz jakieś aplikacje, które wyodrębniają FACS solidnie? Czy możesz polecić jakąś aplikację do ekstrakcji FACS?
Jeśli przez aplikację wydobywającą FACS masz na myśli - automatyczny detektor / tracker FACS - powiedziałbym, że nie. Nie polecam zdecydowanie żadnych aplikacji. Niektóre aplikacje mogą wykryć bardzo proste, intensywne ekspresje; jednak często zawodzą w wykrywaniu subtelnych lub warstwowych ekspresji. Myślę, że jesteśmy daleko od czegoś, co jest rzeczywiście solidne, zwłaszcza ze względu na zaniedbanie danych przez większość wiodących firm technologicznych. Czytaj dalej Tutaj oraz Tutaj.
iPhony mają 52 wyrazy, czy to wystarczy do dobrej animacji? Jeśli nie, jak użyć iPhone'a, aby dodać więcej kształtów FACS?
Czy zamierzasz stworzyć postać od częściowo stylizowanej do bardzo stylizowanej, wykonującą podstawowe ruchy? Jeśli tak, to może być w porządku. Jeśli zamierzasz stworzyć bardziej fotorealistyczne i ekspresyjne postacie, nie osiągniesz pożądanego poziomu jakości. Jako osoba zajmująca się raczej obserwacją i krytyką, nie potrafię powiedzieć, jak dodać więcej kształtów FACS, ale chętnie udzielę konsultacji, jeśli opowiesz mi, jakie masz potrzeby dotyczące swoich postaci, co chcesz osiągnąć w zakresie ekspresji i jakie kształty musisz dodać, aby uzyskać pożądany efekt: facetheFACS@melindaozel.com
Mamy boom na żywe awatary 3D, ale brakuje im dużo mimiki twarzy. Jak myślisz, jak możemy poprawić cyfrowe występy ludzkie w czasie rzeczywistym?
Składają się na to dwie części:
1. Technologia. Technologia śledzenia twarzy nie jest w pełni tam, gdzie chcielibyśmy, aby była. Udane awatary na żywo mogą być wykonane poprzez harmonizację technologii z sztuką. Należy przeprowadzić szeroko zakrojone badania i obserwacje, aby ocenić, jak technologia śledzenia reaguje na różne twarze. Dodatkowo, należy ocenić cele awatarów. W zależności od kontekstu, jakie ekspresje są priorytetowe? W zależności od sytuacji, w których awatary są wykorzystywane, różne ekspresje będą miały różne poziomy priorytetu.
2. Sztuka. Nawet jeśli technologia nie jest tam, gdzie chcielibyśmy, aby była, możesz udawać wiele z tego poprzez sztukę. Udawanie tego poprzez sztukę może być wykonane, gdy masz jasny pomysł na to, co nie działa w technologii i co chcesz potraktować priorytetowo w ekspresji awatara. Kiedy byłem w Meta, intensywnie pracowałem z danymi i badałem, jak technologia działa na różnych twarzach. Możliwość zidentyfikowania tych niedociągnięć pozwoliła mi na efektywną współpracę z modelarzem w celu zamaskowania powtarzających się problemów poprzez stronę artystyczną. Najbardziej udany wygląd awatarów uzyskuje się dzięki sztuce maskującej problemy techniczne.
Jak różne akcenty mogą być obsługiwane przez FACS i jak różne wymowy wpływają na mimikę twarzy / ruchy dla stylizowanych postaci?
Najmniejsze znaczące jednostki dźwięku w języku mówionym nazywane są fonemami. Różne języki składają się z różnych zestawów fonemów. W sztuce i technice mowy, fonemy są pogrupowane według tego, jak wyglądają, kiedy są produkowane. Innymi słowy, fonemy są pogrupowane na podstawie ogólnych kształtów, jakie tworzą nasze usta podczas ich produkcji. Te wizualnie pogrupowane fonemy są określane jako visemes. Przykładem odrębnych fonemów, które tworzą jeden wizem, są głoski dwugłosowe: B, M i P. Chociaż B, M i P są odrębnymi fonemami, to kiedy produkujemy te dźwięki, nasze usta przyjmują zasadniczo tę samą konfigurację. Produkcja B, M i P wygląda tak samo; dlatego B, M i P tworzą jeden wizem. Kształty FACS mogą być użyte do ogólnego przedstawienia wizemu, choć może brakować drobnych szczegółów (omówionych na końcu tej odpowiedzi).
Akcenty powstają, gdy w tym samym słowie występują różne fonemy. Na przykład, rozważmy słowo "samochód". Amerykańska wersja angielskiego wymawia "a" w car inaczej niż brytyjska wersja angielskiego; dlatego amerykański angielski używa innego fonemu Dodatkowo, amerykańska wersja angielskiego wymawia "r", podczas gdy brytyjska wersja angielskiego nie.
Chociaż "samochód" jest tym samym słowem o tym samym znaczeniu zarówno w amerykańskim, jak i brytyjskim angielskim, jego wymowa składa się z różnych fonemów w zależności od tego, który angielski jest używany.
Jeśli kształty FACS są używane do tworzenia szkieletu visemu, a słowo wymawiane z różnymi akcentami składa się z różnych fonemów, to słowo to często składa się również z różnych visemów. Zróżnicowany wzór viseme oznacza, że różne kształty FACS mogą być zastosowane do tych samych słów pod różnymi akcentami. Ten podział oznacza, że bardzo ważne jest, aby brać pod uwagę dźwięki mowy i opcje fonemowe słów - nie litery, które tworzą same słowa.
Główne problemy związane z FACS i mową wynikają z fonemów wytwarzanych poza mechaniką mimiki twarzy – np. w językach gardłowych. Ponadto FACS ogólnie ma kilka brakujących ogniw, jeśli chodzi o kształty mowy – nawet w przypadku amerykańskiego angielskiego. Ta niedoskonałość jest powodem, dla którego zdefiniowałem podjednostki działania, takie jak “pionowe zaciskanie warg” i “zmarszczka na osi Y”. (Zobacz FACS Cheat Sheet dla szczegółów).
Moja praca
Czy wykonujesz ćwiczenia twarzy? Jeśli tak - jak często?
Ćwiczę prawie każdego dnia. W zależności od tego, jaki obszar twarzy badam w danym momencie, zmienia się to, co ćwiczę. Nie przechodzę przez pełen zakres działań FACS każdego dnia, ale na pewno zawsze ćwiczę jakieś mięśnie twarzy!
Jak wygląda proces uzyskiwania recenzji portfolio?
Sprawdź moje Przegląd portfolio strona 😀
Czy odegrałeś jakąś rolę przy Epic's MetaHumans?
Zrobiłem to! Pracowałem z niektórymi ich zespołami nad ulepszeniem riga poprzez szkolenia z anatomii twarzy + konsultacje. Rezultaty powinny być widoczne po wyjściu późniejszej wersji produktu.
Czy są jakieś filmy lub gry wideo, przy których konsultowałeś, z których jesteś szczególnie dumny?
Tak! Jestem bardzo dumny, że mogłem uczestniczyć w realizacji dwóch przełomowych filmów wykorzystujących sztuczną inteligencję. Pracowałem nad odmładzaniem Toma Hanksa, Robin Wright i Paula Bettany'ego w filmie Roberta Zemickisa. Tutaj, a ja pracowałem nad technologią synchronizacji ruchu warg dla Obserwuj niebo. Byłem również dumny, że mogłem pracować nad projektowaniem emoji dla Meta, produktu, z którego korzysta ponad miliard osób!
Czy są projekty, które przemawiają do Ciebie bardziej niż inne (dramatyczne/komiczne, stylizowane/fotorealistyczne, VR/2D)?
Jako konsultant lubię zarówno projekty stylizowane, jak i fotorealistyczne. Każdy z nich ma swoje własne wyzwania. To samo z dramatem i komedią! Jako widz, bardziej lubię komedie i stylizowane.
Różne
Jak byś podszedł do mimiki twarzy zombie?
Mimikę twarzy zombie zarezerwowałbym dla ruchów funkcjonalnych wymaganych do jedzenia i atakowania, ponieważ w klasycznej literaturze zombie przede wszystkim to właśnie robią! Szczęka i usta byłyby priorytetem. Możesz również zmodyfikować sposób działania tych ruchów w oparciu o różne poziomy zniszczenia.
Jako fotograf portretowy, zastanawiam się, gdzie FACS pasowałby do mojej pracy. Czy byłby przydatny do planowania przed sesją zdjęciową lub analizowania końcowych zdjęć, aby zobaczyć, które najlepiej oddają emocje, o które ci chodzi? Czy FACS odebrałby uczciwość?
Jako fotograf, nie powiedziałbym, że musisz być mistrzem FACS, ale posiadanie oka na sztywne / fałszywe / niewygodne wyrażenia może być przydatne, zwłaszcza gdy (1) decyduje, jakie ujęcia wybrać dla swoich klientów i (2) pomaga twoim modelom wyglądać bardziej zrelaksowany.
Kiedyś modelowałam dla fotografów portretowych i posiadanie dobrej świadomości twarzy pozwalało mi lepiej pozować. Na przykład, zdawałam sobie sprawę z takich rzeczy jak - trzymanie pozy przez zbyt długi czas aktywowało dodatkowe mięśnie, których nie chciałam mieć w moim ujęciu; więc upewniałam się, że mam dobrą komunikację z moim fotografem / wiedziałam, kiedy będzie mógł pstryknąć zdjęcie. Wiedza o tym, kiedy będą robić ujęcie, pomogła mi trafić w pozę w odpowiednim momencie i sprawić, że ekspresja wyglądała bardziej naturalnie. Byłem również w stanie zredukować nerwową ekspresję poprzez rozluźnienie twarzy, kiedy czułem, że się napina.
Podobne rzeczy można zrobić również po stronie fotografa. Jeśli nie jesteś naturalnie uzdolniony w odczytywaniu ekspresji / nastroju ludzi, FACS może być szczególnie korzystny. Pracowałem z wieloma fotografami, którzy nie mieli naturalnego oka do wyłapywania dyskomfortu w pozach i z pewnością mogliby wykorzystać trochę technicznej wiedzy FACS.