Je vragen over gezichtsuitdrukking en FACS beantwoord!
Het volgende is een mix van veelgestelde en minder vaak gestelde vragen over het Facial Action Coding System (FACS) en gezichtsuitdrukkingen. De antwoorden zijn vooral bedoeld voor animators, modelleurs, riggers en andere artiesten, maar ook voor onderzoekers en ingenieurs die werken aan gezichtsherkenningstechnologie en digitale mensen. Omdat er veel tekst is, is het aan te raden om per sectie te bladeren of Ctrl+F te gebruiken om op sleutelwoorden te zoeken.
FACS-basisprincipes
Wat is FACS (Facial Action Coding System)?
FACS, of het Facial Action Coding System, is een classificatiesysteem dat is ontworpen om zichtbare bewegingen van het menselijk gezicht te benoemen en te beschrijven. Omdat FACS anatomisch is gebaseerd en zeer gedetailleerd is gedocumenteerd, kunnen we complexe gezichtsuitdrukkingen op een objectieve en gestandaardiseerde manier uitsplitsen.
Volledige uitleg volgt binnenkort!
Tips voor leren en studeren
Waar raadt u beginners aan om FACS te studeren?
Dat hangt ervan af. Als je kunstenaar bent, kun je FACS bestuderen via deze website, mijn FACS spiekbriefje, de FACS-handleiding, of mijn FACS promsessie; het is echter mogelijk dat u niet zoveel waar voor uw geld krijgt in de officiële FACS-handleiding, tenzij u bereid bent om tijd en geld te investeren ($350) om 500 pagina's tekstboektaal te doorwerken die voor een ander publiek is bedoeld. De handleiding bevat niet zoveel relevante informatie voor kunstenaars., omdat het speciaal is ontworpen om gebruikers te leren hoe ze gezichtsbewegingen kunnen coderen met gestructureerde onderzoeksmethoden.
Als je in de academische wereld of de technische wereld werkt en gedragsonderzoek wilt doen, bestudeer FACS dan officieel aan de hand van de FACS Manual en vul ontbrekende visuals aan met mijn website, FACS spiekbriefje, of mijn FACS promsessie. Voor academische onderzoekers verzorgt Erika Rosenberg workshops voor aspirant gezichtscoders.
FACS lijkt erg ingewikkeld. Waar en hoe moeten studenten zoals ik beginnen?
FACS lijkt misschien ingewikkeld, maar het eigenlijke gezicht is nog ingewikkelder. Ik heb Het FACS onder ogen zienomdat de FACS Manual erg ingewikkeld kan zijn en er geen toegankelijke (of kwalitatief goede) bronnen zijn. Zoals hierboven vermeld, kun je gebruik maken van de bronnen op mijn website, zowel gratis en betaald. Je kunt ook mijn sociale netwerken volgen voor meer gratis referenties, tips en informatieve berichten (Instagram: @manicexpression / Twitter: @melindaozel /. LinkedIn).
Bestaat er een FACS-bijbel? Waar kan ik referenties vinden van verschillende FACS AU's (action units)?
De echte FACS-bijbel is de FACS-handleiding, maar ik voeg altijd dingen toe aan mijn FACS spiekbriefje! Dit blad is ontworpen om basis-AU's te laten zien. Ik heb combinatievormen beschikbaar voor Premium ledenen ik plaats vaak gratis referenties op al mijn sociale accounts (Instagram: @manicexpression / Twitter: @melindaozel /. LinkedIn). Vul het formulier onderaan deze pagina in om specifieke AU combinaties aan te vragen.
Zijn er trucjes om kunstenaars te helpen niet overweldigd te raken bij het bekijken van de Het FACS onder ogen zien taal? Want groenere kunstenaars merken dat ze snel worden meegesleept door te veel vormen tegelijk te triggeren, wat uiteindelijk kan leiden tot tegenanimatie.
Begin met delen van het gezicht. Begin met de wenkbrauwen - die zijn het makkelijkst. Let op de FACS-namen; ze klinken in het begin misschien eng, maar als je eenmaal doorhebt dat hun namen de definitie van hun bewegingen weggeven, worden ze je vriend! Bijvoorbeeld - Wat betekent "inner brow raiser"? Het betekent dat het binnenste deel van je wenkbrauw wordt opgetrokken! Bestudeer de basisanatomie samen met FACS. Oefen het uitvoeren van de vormen op je eigen gezicht. Begin met het observeren van de bewegingen in het echte leven en wanneer je films / shows / social media video's bekijkt. Bewaar mondbewegingen voor het laatst.
Wat betreft het doorschieten in het triggeren van te veel vormen tegelijk - met een basiskennis van gezichtsanatomie en FACS kun je veel voorkomende bewegingen en combinaties bestuderen die in de natuur voorkomen. Waarnemingen uit de echte wereld zullen je helpen je strategie te bepalen voor wat je wanneer moet triggeren.
Wat zijn jouw favoriete bronnen / tutorials om bedreven te raken in FACS?
Ik heb Het FACS onder ogen zien, omdat bronnen buiten de officiële FACS-handleiding bijna altijd onjuiste informatie en referenties bevatten. De handleiding zelf kan ook vaag zijn met betrekking tot bepaalde gezichtsuitdrukkingen. Het heeft me jaren van zelfstudie en observatie gekost om uitdrukkingen als “lip tightener”, “nasolabial furrow deepener”, “nostril compressor”, enz. echt te begrijpen. Het doel van deze website is om verwarring over FACS te minimaliseren en vals nieuws over gezichten te bestrijden.
Ik heb voldoende vaardigheid in FACS opgedaan door middel van de FACS-handleiding en de mentoren die ik had tijdens mijn stage bij het Zurich Interaction and Expression Laboratory: Willibald Ruch, Tracey Platt en Jennifer Hofmann. Vanaf dat moment heb ik alles geleerd door ervaring, oefening en observatie in de praktijk.
Voor beginners op het gebied van anatomie raad ik het volgende aan:
- Het gezicht van de mens en mimische taal door Carl-Herman Hjortsjö. Dit gratis, downloadbare boek is een kunstenaarsvriendelijk hulpmiddel voor iedereen die zowel FACS als gezichtsanatomie wil begrijpen. Hjortsjö is in wezen de grondlegger van FACS. Zonder zijn bijdragen aan de gezichtsanatomie en gezichtsbewegingsstudies zou FACS slechts een fractie zijn van wat het nu is. Veel van FACS is ontleend aan het werk van Hjortsjö, hoewel hij daar nooit voldoende erkenning voor krijgt.
- Menselijke anatomie voor kunstenaars: De elementen van vorm van Eliot Goldfinger. Ik vind het geweldig hoe dit boek de gezichtsspieren op een effectieve maar simplistische manier onderverdeelt. Het is het duidelijkste, meest accurate boek dat ik ben tegengekomen en het erkent zelfs de diversiteit van de gezichtsspieren. Voor gevorderde anatomische bronnen moet je op zoek naar een onderzoeksverslag!
Zijn er bronnen die je kunt aanbevelen voor het vinden van goede gezichtsverwijzingen? We bouwen conversatie-AI. Ik werk aan de animatie, expressie en lichaamsbewegingen. We doen ons werk meestal handmatig en onze personages zien er vaak onnatuurlijk uit.
Mijn FACS spiekbriefje en volledige website staan vol referenties voor basisuitdrukkingen, emoties en spraak. Ik ben beschikbaar voor advies. als je hulp wilt om je personages er natuurlijker uit te laten zien.
Wat is de beste aanpak om FACS te leren, er is veel informatie. Zijn er strategieën of technieken om ze efficiënter te leren?
De beste aanpak is om het gezicht in delen op te splitsen, bijvoorbeeld wenkbrauwen, ogen, middengezicht, ondergezicht. Zorg ervoor dat je elk deel de eerste keer goed leert. Deze website is precies voor dat doel gemaakt. Als je eenmaal een basiskennis van FACS hebt, is je volgende stap om geduldig te zijn. Door kritisch te blijven kijken, zal het na verloop van tijd allemaal duidelijk worden.
Ik bestudeer het gezicht al meer dan 13 jaar en ben nog steeds in de war over sommige dingen. Zelfs anatomen kunnen het niet eens worden over bepaalde kwesties met betrekking tot de classificatie en indeling van gezichtsspieren; onthoud dat dus de volgende keer dat u zich gefrustreerd of overweldigd voelt!
Emoties, gedrag en cultuur
Hoe helpt FACS ons om echte menselijke emoties te herkennen?
FACS helpt ons gezichtsuitdrukkingen te ontleden en te bepalen welke spieren worden gebruikt; het helpt ons patronen te herkennen en te identificeren wat er op verschillende momenten en in verschillende situaties in het gezicht gebeurt.
Is er een balans tussen het afbreken van dingen in kunst en gebruiksgemak voor het uitdrukken van emoties?
Veel voorkomende gezichtsuitdrukkingen van emotie delen dezelfde gezichtsacties; het hangt dus af van het project. In sommige gevallen zal het op één hoop gooien van dingen als emotie-sets uiteindelijk onhandig en beperkend zijn. In andere gevallen kan het nuttig zijn.
Zijn er culturele verschillen in FACS? Er zijn vast verschillen in uitdrukkingen en emotiepresentatie.
FACS is een systeem dat op spieren gebaseerde gezichtsbewegingen beschrijft. Hoewel we allemaal verschillen in vorm, grootte, aanwezigheid, configuraties en kracht van de gezichtsspieren - je spieren veranderen niet op basis van je cultuur; de gezichtshandelingen die je gebruikt om jezelf uit te drukken verschillen echter wel en die variaties kunnen worden gemeten met FACS. Het vermogen om patronen en verschillen in gezichtsgedrag te identificeren is de reden waarom FACS is ontwikkeld!
Anatomie
Kun je vertellen hoe gezichtsspieren bepaalde uitdrukkingen produceren? Verbinden alle spieren zich met het bot, of verbinden sommige spieren zich met andere spieren of fascia? Wat zijn enkele van de complexere spierinteracties?
Ja, ik zou hier dagen over kunnen praten en ik heb meerdere artikelen over dit onderwerp op deze site staan. Nee, niet alle gezichtsspieren zijn verbonden met botten. Sommige wel, andere niet. Er is heel veel variatie in de manier waarop gezichtsspieren met elkaar verbonden zijn. Omdat variatie in gezichtsspieren een van mijn favoriete onderzoeksonderwerpen is, heb ik een bibliotheek aan informatie over gezichtsdiversiteit samengesteld; maar vanwege de intensieve tijd die ik heb besteed aan het verwerven van deze verzameling onderzoek, reserveer ik mijn bevindingen voor lezingen of cliënten op gevorderd niveau. Dat gezegd hebbende, ben ik van plan een spiekbriefje te maken met daarop de oorsprong en aanhechting van elke gezichtsspier achter elke gezichtsuitdrukking. Hopelijk helpt dat 🙂 !
FACS is een vrij goed gedocumenteerd systeem dat is opgebouwd rond spieren, maar het is moeilijk om informatie te vinden over de lagen bovenop de spieren. Heb je advies over hoe we meer te weten kunnen komen over zaken als vetkussentjes in het gezicht en het glijden of verslappen van de huid?
Amen! Er is zeker een gebrek aan toegankelijke bronnen over de onderwerpen die je hebt beschreven. Ik ben een fan van esthetisch behandelaar Tim Pearce. Hij heeft een aantal geweldige afbraak van gezichtsvet op zijn YouTube-kanaal kanaal. Er zijn ook veel goede anatomieartikelen. Met observatievermogen en het documenteren van je eigen voorbeelden zit je altijd goed. Houd er bij het bekijken van anatomische diagrammen van het gezicht altijd rekening mee dat het vereenvoudigde weergaven zijn van zaken die zeer variabel zijn. Daarom kan het zeer nuttig zijn om mensen in hun natuurlijke omgeving te observeren en onderzoeksartikelen te lezen.
Animatie
Als je FACS doet voor gezichtsanimatie van proefpersonen, moet je dan een aangepaste set FACS maken voor elke identiteit om de natuurlijkheid te maximaliseren?
Als je personages aan de meer realistische kant van het spectrum zitten, kan het heel effectief zijn om variatieopties voor uitdrukkingsvormen te creëren. Bijvoorbeeld:, Onze voorhoofden rimpelen allemaal anders wanneer we onze wenkbrauwen optrekken.. Hoewel bij het volledig optrekken van de wenkbrauwen altijd zowel de binnenste als de buitenste wenkbrauw wordt gebruikt, heeft de manier waarop dit op elk gezicht tot uiting komt unieke kenmerken. Er zijn verschillende manieren om deze verschillen te categoriseren en te groeperen om variatie en opties te creëren. Ik heb in het verleden met studio's samengewerkt om dergelijke oplossingen te ontwikkelen en zou dat graag weer doen. Stuur me gerust een projectvoorstel via facetheFACS@melindaozel.com.
Wat is het typische proces voor het animeren van het 3D-gezicht na het hebben van een FACS-kaart? Kun je van video van pratende persoon -> extract dichte gezichts herkenningspunten kaart -> 3D geanimeerd gezicht?
Als niet-animator kan ik niet zeggen wat het typische proces is, maar ik kan wel zeggen dat geautomatiseerde pogingen om spraak na te bootsen uit video's van pratende mensen altijd genuanceerde - maar zeer betrouwbare - fouten hebben voor verschillende lipformaties die nodig zijn voor spraak.
Wat zijn veelgemaakte fouten die je animatieteams ziet maken wanneer ze een FACS-stijl rig toepassen in een digitale menselijke pijplijn?
Onnauwkeurige FACS-vormen zijn het grootste probleem. Andere grote problemen zijn 1. geen rekening houden met de secundaire en tertiaire bewegingen van een vorm - bv. de beweging te geïsoleerd en stijf houden, 2. een basisbeweging opsplitsen om animatoren meer controle te geven - dan herinneren animatoren zich niet om de stukken later opnieuw samen te voegen wanneer ze de uitdrukkingen aansturen. Subtielere problemen zijn bijvoorbeeld het niet op elkaar aansluiten van rimpels en beweging, beweging op oppervlakteniveau die geen rekening houdt met diepteveranderingen, enz.
Is er iets "verrassends" dat je ontdekt hebt in je studies en waarvan je zou willen dat meer animatoren op de hoogte waren? Zijn er FACS-principes waarvan je denkt dat ze over het hoofd worden gezien door nieuwe animatoren?
Ik ontdek voortdurend verrassende dingen! Wat betreft ontdekkingen waarvan ik zou willen dat meer animatoren op de hoogte waren - ik zou eigenlijk willen dat animatoren op de hoogte waren van de basisprincipes van gezichtsbewegingen. Het is een enorm obstakel als een animator niet op de hoogte is van de basisprincipes van gezichtsmechanismen en zijn behoeften niet effectief kan overbrengen aan andere afdelingen, zoals rigging.
Zijn er 'sub'-actie-eenheden of kleinere actie-eenheden die door animators zijn gedefinieerd om dingen verder op te splitsen?
Er zijn veel schetsmatige "sub"-actie-eenheden die zijn gemaakt voor gebruiksgemak. Ik zeg "schetsmatig", want als deze subeenheden niet goed doordacht en voorzichtig worden gebruikt, kunnen ze resulteren in onnatuurlijke gezichtsbewegingen.
Ik ben er zeker van dat er legitieme onderverdelingen bestaan die overeenkomen met de anatomie. Ik heb mijn eigen lijst van subactie-eenheden moeten opsplitsen om spraakbewegingen beter te kunnen definiëren. Animators hebben me laten weten dat ze dezelfde bewegingen hebben opgesplitst om realistische spraak te creëren. Een van de cruciale subactie-eenheden die ik heb toegevoegd aan mijn FACS-bronnen is een vorm die ik "verticale lipverstrakking" noem. Je kunt het googelen of zoeken op mijn FACS spiekbriefje voor meer informatie.
Tuigage
Maken de meeste riggers FACS rigs met behulp van mengvormen of verbindingen?
Degenen met wie ik heb gewerkt gebruiken meestal mengvormen. Met mengvormen krijg je betere resultaten, maar ze kunnen duur en omvangrijk zijn. Joints zijn goedkoper maar zien er ook goedkoper uit.
Ik weet niet goed hoe ik de vraag precies moet formuleren... Met in gedachten dat het doel van een control rig is om complexe bewegingen te vereenvoudigen zodat een animator snel en efficiënt kan werken (anders zouden we gewoon verts animeren) - FACS lijkt de nadruk te leggen op het opsplitsen van dingen in hun individuele spiergroepen (anatomisch niveau). Hoe denk je dat animators complexe spiergroepen nauwkeurig maar ook 'handig' kunnen aansturen?
Handige vormcombinaties moeten per geval worden gemaakt. Het hangt af van de context - zoals het ontwerp van het personage, het gedrag van het personage, het gewenste publiek, enz. Ik zou graag samenwerken met een rigger om tools te maken die animators kunnen helpen bij het maken van complexe vormen voor specifieke scenario's.
Ik heb aan een aflevering van Marvel's "What If?" gewerkt aan een personage dat maar 5 vormen op de gezichtsopstelling had. Denk je dat er een stijl is die met minder FACS kan volstaan om verschillende emoties over te brengen?
Verbazingwekkend dat er maar 5 vormen op de gezichtsuitrusting zaten! Dat zet veel dingen in perspectief. Ik denk wel dat je met minder FACS-vormen weg kunt komen. Het hangt af van het personage. Emoji's hebben bijvoorbeeld geen neus, dus dat neemt een paar vormen weg. Als je Hello Kitty wilt animeren, hoef je je geen zorgen te maken over de mond- of wenkbrauwvormen. Bij sommige gestileerde mensen zou je een handvol vormen kunnen verwijderen die genoeg lijken op andere vormen. Nogmaals, het hangt ervan af!
Wat zijn volgens jou de 3-5 belangrijkste en nuttigste AU's om een fundamenteel personage te bouwen (misschien zoiets als een kleine verzameling stenen) om uit te drukken / emote / "spreken"?
LOL. Een steen? Als het gewoon praten is: wat wenkbrauwuitdrukkingen en simpele mondbewegingen. Als ik je meer wil vertellen, moet je een klant!
Wat is de aanbevolen workflow voor het werken met FACS-opstellingen?
Maak checklists. Zorg dat je documentatie bij de hand hebt. Er zijn zoveel uitdrukkingen en opties dat het gemakkelijk kan zijn om dingen te vergeten / repetitief te worden met dezelfde bewegingen.
Welke hoofduitdrukkingen (AU's) zou je gebruiken als je het meest geoptimaliseerde mengvormsysteem wilde maken (bijvoorbeeld als je een spel hebt met zeer beperkte middelen). Hoe lichter zou je dit systeem in zijn meest basale vorm kunnen maken?
Hangt van het spel af. Waar gaat het spel over? Hoe zien de personages eruit? Wat wil je dat je publiek voelt en ervaart?
Modelleren
Hoe verhoudt FACS zich tot mengvormen? En zijn actie-eenheden prestatievriendelijk voor games?
Blend-vormen zijn meestal gebaseerd op FACS-vormen of een combinatie van verschillende FACS-vormen. Veel gamebedrijven gebruiken FACS voor hun technologie en animatie. Je kunt controllers instellen die actie-eenheden voorstellen.
Zijn er nuances in het gebruik van FACS bij het maken van een gestileerd maar realistisch personage zoals Alita uit Alita Battle Angel?
Natuurlijk. Als je de structuren van het gezicht verandert, zijn er altijd uitdagingen bij het vertalen van de bewegingen en het verplaatsen van belangrijke herkenningspunten in het gezicht.
Welke gezichtsbouwmodeler heeft de meest accurate FACS-weergaven? Ik ben bekend met Character Creator en FaceBuilder.
Tegenwoordig reserveer ik het evalueren van tools op een as-nodig basis voor klanten. Neem gerust contact op als je wilt samenwerken: facetheFACS@melindaozel.com
VFX
In de animatie / VFX-wereld werken we vaak met personages met littekens / misvormingen. Heb je gevallen van verwondingen bestudeerd en hoe die het FACS kunnen beïnvloeden?
Ik heb een aantal specifieke aandoeningen onderzocht die door letsel of ziekte worden veroorzaakt en die invloed hebben op gezichtsuitdrukkingen. Tot nu toe heb ik vooral onderzoek gedaan naar iets dat globe luxatie wordt genoemd – een aandoening waarbij je ogen aanzienlijk uit hun kassen kunnen puilen (oftewel uit je gezicht kunnen springen). Dit kan worden veroorzaakt door een schildklieraandoening of hoofdletsel. Er zijn nog zoveel andere interessante gevallen om te bestuderen. Ik bekijk het van dag tot dag! Als je specifieke soorten littekens of verwondingen wilt zien, stuur me dan een e-mail: facetheFACS@melindaozel.com.
Heb je tips om "unheimliche" gevoelens bij pratende dieren te vermijden, zoals hoe je antropomorfe bewegingen kunt toepassen zonder vreemde gevoelens te creëren? Bijvoorbeeld het verschil tussen Planet of the Apes en Lion King films?
Als je een leeuw er precies zo laat uitzien als een leeuw, maar spreekt en zingen net als bij een mens, zal het vreemd zijn. Je kunt er niet veel aan doen, behalve concessies doen aan het realisme. Persoonlijk zou ik willen dat de trend om vroegere animatieklassiekers te repliceren in fotorealistische remakes zou stoppen. Afgezien van mijn persoonlijke gevoelens, zijn er vanuit professioneel oogpunt een aantal trucs en compromissen mogelijk om het ongemakkelijke gevoel te verminderen, maar ik denk niet dat je het volledig kunt wegwerken. Wat Planet betreft, is het veel beter haalbaar om dieren met vergelijkbare capaciteiten als mensen te antropomorfiseren.
Zijn er bepaalde FACS menselijke vormen / poses waarvan je denkt dat de VFX-industrie moeite heeft om die te bereiken in fotorealistische personages?
De meest opvallende die ik zie zijn wangverhoging en neusrimpel; er zijn nog veel meer subtiele vormen die ook verbeterd kunnen worden.
Technologie
Hoe vergelijk je FACS met wat er wordt gedaan in deep learning?
De meeste bedrijven voor het volgen van gezichten en emoties vertrouwen op FACS voor machinaal leren. Ze gebruiken FACS om hun datapijplijnen in kaart te brengen. Ze verzamelen gegevens met op FACS gebaseerde expressies. Ze trainen hun machines met FACS-gebaseerde classificatie, enz. Zelfs als je geen FACS-gebaseerde aanpak gebruikt, heb je nog steeds FACS nodig om faalgebieden te identificeren en te communiceren om te beoordelen welke gegevens nodig zijn om de technologie te verbeteren.
Zijn er bestaande FACS-datasets die we kunnen gebruiken om een machine-learningmodel te trainen met gezicht en spraak?
Van wat ik heb gezien bij het werken in de techniek aan gezichtsherkenning, zitten de meeste datasets vol met onzuivere gegevens. Je zou in staat moeten zijn om de gegevens nauwkeurig te onderzoeken en veel afval op te ruimen. Als je de middelen hebt, is het aan te raden om interne systemen te ontwikkelen voor het verzamelen en labelen van gegevens. Als je je eigen datateams samenstelt, lees dan Vertekening bij het volgen van emoties.
Kunt u toepassingen aanbevelen die FACS op een robuuste manier extraheren? Kun je een app aanbevelen voor FACS-extractie?
Als je met een toepassing die FACS extraheert een geautomatiseerde FACS-detector / tracker bedoelt, zou ik nee zeggen. Ik raad geen enkele toepassing sterk aan. Sommige toepassingen kunnen zeer eenvoudige expressies met een hoge intensiteit detecteren, maar ze falen vaak bij het detecteren van subtiele of gelaagde expressies. Ik denk dat we nog ver verwijderd zijn van iets dat echt robuust is, vooral door de datalatigheid van de meeste toonaangevende techbedrijven. Meer lezen hier en hier.
iPhones hebben 52 uitdrukkingen, is dat genoeg voor een goede animatie? Zo niet, hoe gebruik je een iPhone om meer FACS-vormen toe te voegen?
Ga je voor een semi-gestileerd tot zeer gestileerd personage met basisbewegingen? Als dat het geval is, zou het prima kunnen zijn. Als je voor meer fotorealistische en expressieve personages gaat, zal het je niet het kwaliteitsniveau opleveren dat je nodig hebt. Als iemand die meer aan de observatie- en kritische kant staat, kan ik je niet vertellen hoe je meer FACS-vormen kunt toevoegen, maar ik sta open voor overleg als je me wilt vertellen wat je nodig hebt voor je personages, wat je wilt bereiken op het gebied van expressiviteit en welke vormen je mogelijk moet toevoegen om te krijgen wat je wilt: facetheFACS@melindaozel.com
We hebben een hausse aan 3D live avatars, maar ze missen veel gezichtsuitdrukkingen. Hoe denk je dat we realtime digitale menselijke optredens kunnen verbeteren?
Dit bestaat uit twee delen:
1. De technologie. De technologie voor het volgen van gezichten is nog niet helemaal waar we het willen hebben. Succesvolle live avatars kunnen worden gemaakt door de technologie te harmoniseren met de kunst. Er moet uitgebreid onderzoek en observatie worden gedaan om te beoordelen hoe de tracking-technologie reageert op verschillende gezichten. Daarnaast moeten de doelen van de avatars worden geëvalueerd. Welke uitdrukkingen hebben prioriteit, afhankelijk van de context? Afhankelijk van de situaties waarvoor de avatars worden gebruikt, zullen verschillende uitdrukkingen verschillende prioriteitsniveaus hebben.
2. De kunst. Ook al is de technologie niet waar we willen zijn, je kunt er veel van namaken door middel van kunst. Je kunt het namaken door middel van kunst als je eenmaal een duidelijk idee hebt van wat er niet werkt in de technologie en wat je prioriteit wilt geven voor je avataruitdrukkingen. Toen ik bij Meta werkte, heb ik intensief met de gegevens gewerkt en bestudeerd hoe de technologie presteerde op verschillende gezichten. Doordat ik die tekortkomingen kon identificeren, kon ik effectief samenwerken met een modelleur om terugkerende problemen te maskeren via de kunstkant. De meeste succesvol ogende avatars worden bereikt door technische problemen te maskeren.
Hoe kunnen verschillende accenten worden ondersteund door FACS en hoe beïnvloeden verschillende uitspraken gezichtsuitdrukkingen/bewegingen voor gestileerde personages?
De kleinste betekenisvolle geluidseenheden in een gesproken taal worden fonemen genoemd. Verschillende talen bestaan uit verschillende sets fonemen. In de kunst en spraaktechnologie worden fonemen gegroepeerd op basis van hoe ze eruit zien als ze worden geproduceerd. Met andere woorden, fonemen worden gegroepeerd op basis van de algemene vormen die onze monden aannemen om ze te produceren. Deze visueel gegroepeerde fonemen worden aangeduid als visemes. Een voorbeeld van verschillende fonemen die samen één visem vormen zijn de bilabiale klanken: B, M en P. Hoewel B, M en P verschillende fonemen zijn, nemen onze lippen in wezen dezelfde vorm aan wanneer we deze klanken produceren. De productie van B, M en P ziet er hetzelfde uit; daarom vormen B, M en P één visem. FACS-vormen kunnen worden gebruikt om een viseme grofweg weer te geven, hoewel fijnere details kunnen ontbreken (besproken aan het einde van dit antwoord).
Accenten ontstaan wanneer verschillende fonemen worden toegepast op hetzelfde woord. Neem bijvoorbeeld het woord "auto". De Amerikaans-Engelse versie spreekt de "a" in car anders uit dan de Brits-Engelse versie; daarom gebruikt het Amerikaans-Engels een ander foneem. Bovendien spreekt de Amerikaans-Engelse versie de "r" uit, terwijl de Brits-Engelse versie dat niet doet.
Hoewel "car" hetzelfde woord is met dezelfde betekenis in zowel Amerikaans als Brits Engels, bestaat de uitspraak uit verschillende fonemen, afhankelijk van welk Engels wordt gebruikt.
Als FACS-vormen worden gebruikt om het skelet van een viseme te maken, en een woord dat met verschillende accenten wordt uitgesproken bestaat uit verschillende fonemen, dan bestaat dat woord vaak ook uit verschillende visemen. De variërende visemenformule betekent dat verschillende FACS-vormen kunnen worden toegepast op dezelfde woorden met verschillende accenten. Deze onderverdeling betekent dat het heel belangrijk is om te kijken naar de spraakklanken en fonemische opties van woorden - niet naar de letters waaruit de woorden zelf bestaan.
De belangrijkste problemen met FACS en spraak komen voort uit fonemen die buiten de mechanica van gezichtsuitdrukkingen worden geproduceerd, bijvoorbeeld keelklanken. Bovendien ontbreken er in FACS over het algemeen enkele schakels als het gaat om spraakvormen, zelfs voor Amerikaans Engels. Vanwege deze tekortkoming heb ik subactie-eenheden gedefinieerd, zoals “verticale lipspanner” en “y-as dimpler”. (Zie FACS spiekbriefje voor meer informatie).
Mijn werk
Doe je gezichtsoefeningen? Zo ja - hoe vaak?
Ik oefen bijna elke dag. Afhankelijk van het gebied van het gezicht dat ik op dat moment bestudeer, verandert wat ik oefen. Ik doorloop niet elke dag alle FACS-handelingen, maar ik ben zeker altijd wel een gezichtsspier aan het trainen!
Hoe verloopt het proces voor een portfoliobeoordeling?
Bekijk mijn Portfolio-overzicht pagina 😀
Heb je een rol gespeeld bij Epic's MetaHumans?
Dat heb ik gedaan! Ik heb met een aantal van hun teams gewerkt aan het verbeteren van de rig door middel van gezichtsanatomietraining + advies. De resultaten zouden zichtbaar moeten zijn zodra een latere release van het product uit is.
Zijn er, zo uit je hoofd, films of videogames waarvoor je advies hebt gegeven waar je bijzonder trots op bent?
Ja! Ik ben zo trots dat ik heb mogen meewerken aan twee baanbrekende films waarin AI is gebruikt. Ik heb gewerkt aan het verjongen van Tom Hanks, Robin Wright en Paul Bettany in Robert Zemickis' Hier, en ik heb gewerkt aan de lipsync-technologie voor Kijk naar de lucht. Ik was ook trots om te werken aan het ontwerp van emoji's voor Meta, een product dat door meer dan een miljard mensen wordt gebruikt!
Zijn er projecten die je meer aanspreken dan andere (dramatisch/komisch, gestileerd/fotorealistisch, VR/2D)?
Als consultant geniet ik van zowel gestileerde als fotorealistische projecten. Ze hebben elk hun eigen uitdagingen. Hetzelfde geldt voor drama en komedie! Als kijker houd ik meer van komedie en gestileerd.
Diversen
Hoe zou jij zombiegezichtsuitdrukkingen benaderen?
Ik zou de gezichtsuitdrukkingen van zombies reserveren voor functionele bewegingen die nodig zijn om te eten en aan te vallen, want in de klassieke zombieliteratuur is dat vooral wat ze doen! Kaak en mond zouden prioriteit hebben. Je kunt ook aanpassen hoe die bewegingen werken op basis van verschillende niveaus van achteruitgang.
Als portretfotograaf vraag ik me af hoe FACS in mijn werk past. Zou het nuttig zijn om vooruit te plannen voor een fotoshoot of om de uiteindelijke foto's te analyseren om te zien welke het beste de emotie overbrengt waar je naar op zoek bent? Zou FACS eerlijkheid wegnemen?
Als fotograaf zou ik niet zeggen dat je een FACS-meester hoeft te zijn, maar oog hebben voor stijve / neppe / ongemakkelijke uitdrukkingen kan nuttig zijn, vooral bij (1) het beslissen welke opnamen je selecteert voor je klanten en (2) het helpen van je modellen om er meer ontspannen uit te zien.
Ik stond vroeger model voor portretfotografen en met een goed gezichtsbewustzijn kon ik beter poseren. Ik realiseerde me bijvoorbeeld dingen als: als ik een pose te lang vasthield, activeerde dat extra spieren die ik niet in mijn foto wilde hebben; dus ik zorgde ervoor dat ik goed met mijn fotograaf communiceerde en wist wanneer ze de foto konden maken. Als ik wist wanneer ze de foto zouden nemen, kon ik de pose op het juiste moment aannemen en zag de uitdrukking er natuurlijker uit. Ik was ook in staat om nerveuze uitdrukkingen te verminderen door mijn gezicht te ontspannen als ik het voelde spannen.
Soortgelijke dingen kunnen ook gedaan worden aan de kant van de fotograaf. Als je niet van nature vaardig bent in het lezen van de uitdrukkingen / stemmingen van mensen, kan FACS bijzonder nuttig zijn. Ik heb met veel fotografen gewerkt die geen natuurlijk oog hadden voor het herkennen van ongemakken in poses en zij hadden zeker wat technische FACS-kennis kunnen gebruiken.