Kasvojen ilmeet ja FACS-kysymyksiin vastattu!
Seuraavassa on joukko usein ja harvoin kysyttyjä kysymyksiä, jotka liittyvät FACS-järjestelmään (Facial Action Coding System) ja ilmeisiin. Vastaukset on suunnattu pääasiassa animaattoreille, mallintajille, riggereille ja muille taiteilijoille sekä tutkijoille ja insinööreille, jotka työskentelevät kasvojenseurantatekniikan ja digitaalisten ihmisten parissa. Koska tekstiä on paljon, on suositeltavaa selata osioittain tai käyttää Ctrl+F- näppäinyhdistelmää hakusanojen etsimiseen.
FACS-perusteet
Mikä on FACS (Facial Action Coding System)?
FACS eli Facial Action Coding System on luokittelujärjestelmä, joka on suunniteltu nimeämään ja kuvaamaan ihmisen kasvojen näkyviä liikkeitä. Koska FACS perustuu anatomiaan ja on hyvin yksityiskohtaisesti dokumentoitu, sen avulla voimme eritellä monimutkaiset kasvojen ilmeet objektiivisesti ja standardoidusti.
Täydellinen selitys on tulossa pian!
Oppiminen & Opiskelu Vinkkejä
Missä suosittelet aloittelijoille FACS-opintoja?
Riippuu. Jos olet taiteilija, voit opiskella FACS:ää tämän verkkosivuston kautta, minun FACS-huijauslehti, FACS-käsikirja tai minun FACS-opintojakso; kuitenkin saatat huomata, että virallinen FACS-käsikirja ei ole hintansa arvoinen, ellet ole valmis panostamaan aikaa ja rahaa ($350) 500-sivuisen, eri kohderyhmälle suunnatun oppikirjan lukemiseen. Käsikirjassa ei ole niin paljon taiteilijoille merkityksellistä tietoa., koska se on suunniteltu erityisesti opettamaan käyttäjille kasvojen liikkeiden koodaamista jäsenneltyjen tutkimusmenetelmien avulla.
Jos olet akateemisessa tai teknisessä laitoksessa ja haluat tehdä käyttäytymistutkimusta, opiskele FACS:ää virallisesti FACS-käsikirjan avulla ja täydennä puuttuvia kuvamateriaaleja seuraavasti verkkosivustoni, FACS-huijauslehti, tai minun FACS-opintojakso. Erika Rosenberg järjestää akateemisille tutkijoille työpajoja kasvokoodausta aloitteleville henkilöille.
FACS vaikuttaa hyvin monimutkaiselta. Mistä ja miten minun kaltaisteni opiskelijoiden pitäisi aloittaa?
FACS saattaa vaikuttaa monimutkaiselta, mutta todelliset kasvot ovat vielä monimutkaisemmat. Loin Kohtaaminen FACS:n kanssa, koska FACS-käsikirja voi olla tiheä, eikä saatavilla ole helposti saatavilla olevia (tai laadukkaita) resursseja. Kuten edellä mainittiin, voitte hyödyntää verkkosivustollani olevia resursseja, sekä ilmainen ja maksettu. Voit myös seurata sosiaalisia verkostojani saadaksesi lisää ilmaisia viitteitä, vinkkejä ja informatiivisia viestejä (Instagram: @manicexpression / Twitter: @melindaozel / LinkedIn).
Onko olemassa FACS-raamattua? Mistä löydän viitteitä erilaisista FACS:n toimintayksiköistä (AU)?
FACS-järjestelmän todellinen raamattu on FACS-käsikirja, mutta lisään siihen jatkuvasti uusia tietoja. FACS-huijauslehti! Tämä arkki on suunniteltu esittelemään perus-AU:t. Minulla on yhdistelmämuotoja saatavilla Premium-jäsenet, ja julkaisen usein ilmaisia suosituksia kaikilla sosiaalisilla tileilläni (Instagram: @manicexpression / Twitter: @melindaozel / LinkedIn). Jos haluat pyytää tiettyjä AU-yhdistelmiä, täytä tämän sivun alareunassa oleva lomake.
Kaikki temppuja, jotka auttavat taiteilijoita ei hukkua, kun tarkastellaan Kohtaaminen FACS:n kanssa kieli? Vihreämmät taiteilijat huomaavat, että he ajautuvat nopeasti liikaa muotoja kerralla laukaiseviin kuvioihin, jotka voivat lopulta olla vasta-animoivia.
Aloita kasvojen osista. Aloita kulmakarvoista - ne ovat helpoimmat. Kiinnitä huomiota FACS-nimiin; ne saattavat kuulostaa aluksi pelottavalta, mutta kun ymmärrät, että niiden nimet paljastavat niiden liikkeiden määritelmän, niistä tulee ystäväsi! Esimerkiksi - Mitä tarkoittaa "sisäinen kulmien kohottaja"? Se tarkoittaa, että kulmakarvasi sisäosa kohoaa! Opiskele perusanatomiaa yhdessä FACS:n kanssa. Harjoittele muotojen suorittamista omilla kasvoillasi. Aloita liikkeiden tarkkailu tosielämässä ja katsellessasi elokuvia / sarjoja / sosiaalisen median videoita. Säästä suuhun perustuvat liikkeet viimeiseksi.
Mitä tulee siihen, että innostut laukaisemaan liian monta muotoa kerralla - kun sinulla on perusymmärrys kasvojen anatomiasta ja FACS:stä, voit tutkia luonnossa esiintyviä yleisiä liikkeitä ja yhdistelmiä. Todellisen maailman havainnot auttavat ohjaamaan strategiaasi sen suhteen, mitä laukaista ja milloin.
Mitkä ovat suosikkilähteitänne / -oppaitanne FACS:n hallitsemiseksi?
Loin Kohtaaminen FACS:n kanssa, koska virallisen FACS-käsikirjan ulkopuolella olevat lähteet sisältävät lähes aina virheellisiä tietoja ja viittauksia. Käsikirja itsessään voi myös olla epäselvä tiettyjen kasvojen liikkeiden osalta. Minulta kesti vuosia itsenäistä opiskelua ja havainnointia, ennen kuin todella ymmärsin liikkeet kuten “huulien kiristäminen”, “nenä-suunpielien syvennys” ja “sieraimien puristaminen”. Tämän verkkosivuston tavoitteena on minimoida FACS-järjestelmään liittyvä sekaannus ja torjua vääriä uutisia kasvoista.
Opin FACS:n perusteet FACS-käsikirjan ja Zürichin vuorovaikutus- ja ilmaisulaboratoriossa harjoittelun aikana saamieni mentoreiden, Willibald Ruchin, Tracey Plattin ja Jennifer Hofmannin, avulla. Sen jälkeen kaikki oppimani on tullut kokemuksesta, käytännöstä ja todellisesta havainnoinnista.
Aloittelijoille suosittelen seuraavia anatomian oppimateriaaleja:
- Ihmisen kasvot ja mimiikkakieli Carl-Herman Hjortsjö. Tämä ilmainen, ladattava kirja on taiteilijaystävällinen apuväline niille, jotka haluavat ymmärtää sekä FACS:ää että kasvojen anatomiaa. Hjortsjö on käytännössä FACS:n isä. Ilman hänen panostaan kasvojen anatomian ja kasvojen liikkeiden tutkimukseen FACS olisi vain murto-osa siitä, mitä se on nyt. Suuri osa FACS:stä on lainattu Hjortsjön työstä, vaikka hän ei ole koskaan saanut läheskään tarpeeksi tunnustusta.
- Ihmisen anatomia taiteilijoille: Muodon elementit kirjoittanut Eliot Goldfinger. Rakastan sitä, miten tämä kirja pilkkoo kasvojen lihakset tehokkaasti mutta yksinkertaistetusti. Se on selkein ja tarkin kirja, johon olen törmännyt, ja siinä todellakin tunnustetaan kasvolihasten monimuotoisuus. Edistyneempien anatomian resursseja varten teidän on lähdettävä tutkimuspaperia metsästämään!
Voisitko suositella mitään resursseja hyvien kasvojen referenssien löytämiseksi? Rakennamme keskustelevaa tekoälyä. Työskentelen animaatioiden, ilmeiden ja vartalon liikkeiden parissa. Teemme työmme enimmäkseen manuaalisesti, ja hahmomme näyttävät usein luonnottomilta.
Minun FACS-huijauslehti ja koko verkkosivusto ovat täynnä viitteitä perusilmaisuihin, tunteisiin ja puhe. Olen käytettävissä konsultointiin. jos haluat apua hahmojesi luonnollisemman näköiseksi tekemisessä.
Mikä on paras tapa oppia FACS, tietoa on paljon. Onko olemassa mitään strategioita tai tekniikoita, joiden avulla ne voidaan oppia tehokkaammin?
Paras tapa on jakaa kasvot osiin, esimerkiksi kulmakarvat, silmät, kasvojen keskiosa ja alaosa. Varmista, että opit jokaisen osan kunnolla ensimmäisellä kerralla. Tämä verkkosivusto on rakennettu juuri tätä tarkoitusta varten. Kun olet oppinut FACS:n perusteet, seuraava askel on olla kärsivällinen. Asiat alkavat vähitellen selkiytyä, kun pidät silmällä tarkkaavaisesti.
Olen tutkinut kasvoja yli 13 vuoden ajan, ja joitakin asioita en vieläkään ymmärrä täysin. Jopa anatomistit ovat eri mieltä tietyistä kasvojen lihasten luokittelua ja jakautumista koskevista kysymyksistä, joten muista tämä, kun seuraavan kerran tunnet olosi turhautuneeksi tai ylivoimaiseksi!
Tunteet, käyttäytyminen ja kulttuuri
Miten FACS auttaa meitä tunnistamaan todellisia inhimillisiä tunteita?
FACS auttaa meitä erittelemään kasvojen ilmeet ja määrittämään, mitä lihaksia käytetään; se auttaa meitä tunnistamaan kuvioita ja tunnistamaan, mitä kasvoilla tapahtuu eri aikoina ja eri tilanteissa.
Onko olemassa tasapaino asioiden purkamisen ja tunteiden ilmaisun helppokäyttöisyyden välillä?
Monissa yleisissä tunneilmaisuissa on samat kasvojen toiminnot, joten se riippuu projektista. Joissakin tapauksissa asioiden yhdistäminen tunnesarjoiksi on lopulta kömpelöä ja rajoittavaa. Toisissa tapauksissa se voi olla hyödyllistä.
Onko FACS:ssa kulttuurieroja? Ilmeissä ja tunteiden esittämisessä on varmasti eroja.
FACS on järjestelmä, joka kuvaa lihaksiin perustuvia kasvojen liikkeitä. Vaikka meillä kaikilla on eroja kasvolihasten muodoissa, koossa, läsnäolossa, kokoonpanoissa ja voimakkuudessa - lihakset eivät muutu kulttuurin mukaan; se, millä kasvojen liikkeillä ilmaiset itseäsi, vaihtelee kuitenkin, ja nämä vaihtelut voidaan mitata FACS:n avulla. Kyky tunnistaa kasvojen käyttäytymismalleja ja -eroja on syy, miksi FACS kehitettiin alun perin!
Anatomia
Voitko kertoa, miten kasvojen lihakset tuottavat tiettyjä ilmeitä? Liittyvätkö kaikki lihakset luuhun, vai liittyvätkö jotkut lihakset toisiin lihaksiin tai faskioihin? Millaisia monimutkaisempia lihasten vuorovaikutussuhteita niihin liittyy?
Kyllä, voisin puhua tästä päiväkausia, ja minulla olisi useita kirjoituksia tästä aiheesta koko sivustolla. Ei, kaikki kasvolihakset eivät ole yhteydessä luuhun. Jotkut ovat, jotkut eivät. On olemassa valtavasti vaihtelua siinä, miten kasvojen lihakset ovat yhteydessä toisiinsa. Koska kasvolihasten vaihtelu on yksi suosikkitutkimusaiheistani, olen koonnut kirjaston tietoa kasvojen monimuotoisuudesta; koska tämän tutkimuskokonaisuuden hankkimiseen on kuitenkin käytetty paljon aikaa, varaan havaintojani varten edistyneen tason luennot tai asiakkaat. Sanottuani tämän, aion laatia muistiinpanot, joissa esitetään kunkin kasvojen liikkeen takana olevan kasvolihaksen alkuperä ja sijainti. Toivottavasti siitä on apua 🙂 !
FACS on melko hyvin dokumentoitu järjestelmä, joka on rakennettu lihasten ympärille, mutta lihasten päällä olevista kerroksista on vaikea löytää tietoa. Onko teillä neuvoja, miten voisimme saada enemmän tietoa esimerkiksi kasvojen rasvapatjoista ja ihon liukumisesta tai roikkumisesta?
Aamen! Kyllä, sinun mainitsemistasi aiheista on ehdottomasti puutetta helposti saatavilla olevista lähteistä. Olen esteettisen alan ammattilaisen Tim Pearcen fani. Hänellä on hienoja kasvojen rasvan hajoaminen hänen YouTube-kanavallaan kanava. Siellä on myös paljon hyviä anatomia-artikkeleita. Havainnointikyky ja omien esimerkkien dokumentointi ovat aina hyödyllisiä. Kun tarkastelet kasvojen anatomian kaavioita, muista aina, että ne ovat yksinkertaistettuja esityksiä asioista, joissa on suurta vaihtelua. Siksi ihmisten havainnointi luonnollisessa ympäristössä ja tutkimusartikkeleiden lukeminen voivat olla erittäin hyödyllisiä.
Animaatio
Kun teet FACS:ää kohteiden kasvojen animaatiota varten, onko sinun luotava mukautettu FACS-sarja jokaiselle identiteetille luonnollisuuden maksimoimiseksi?
Jos hahmosi ovat realistisempia, voi olla erittäin tehokasta luoda erilaisia vaihtoehtoja ilmeiden muotoihin. Esimerkiksi:, otsamme rypistyvät eri tavoin, kun nostamme kulmakarvat. Vaikka täydellinen kulmakarvojen nosto sisältää aina sisäisen ja ulkoisen kulmakarvojen noston, niiden ilmaisutapa kussakin kasvoissa on ainutlaatuinen. Näitä eroja voidaan luokitella ja ryhmitellä monin tavoin, jotta saadaan aikaan vaihtelua ja vaihtoehtoja. Olen aiemmin työskennellyt studioiden kanssa tällaisten ratkaisujen kehittämiseksi ja teen sen mielelläni uudelleen. Voit vapaasti ehdottaa minulle projektia osoitteessa facetheFACS@melindaozel.com.
Mikä on tyypillinen prosessi 3D-kasvojen animoimiseksi FACS-kartan ottamisen jälkeen? Voidaanko mennä videosta, jossa henkilö puhuu -> poimia tiheä kasvojen maamerkkikartta -> 3D-animoida kasvot?
Koska en ole animaattori, en pysty vastaamaan siihen, mikä on tyypillinen prosessi; voin kuitenkin sanoa, että automaattiset yritykset luoda puhetta uudelleen videoiden perusteella, joissa ihmiset puhuvat, sisältävät aina vivahteikkaita - mutta erittäin luotettavia - virheitä eri huulten muodoissa, joita puheessa tarvitaan.
Mitä yleisiä virheitä näet animaatiotiimien tekevän, kun ne ottavat FACS-tyylisen rigin käyttöön digitaalisen ihmisen tuotantoputkessa?
Suurimpana ongelmana ovat epätarkat FACS-muodot. Muita suuria ongelmia ovat mm: 2. perusliikkeen hajottaminen, jotta animaattorit saisivat enemmän kontrollia - ja sitten animaattorit eivät muista yhdistää palasia myöhemmin uudelleen, kun he ohjaavat ilmeitä. Joitakin hienovaraisempia ongelmia ovat esimerkiksi ryppyjen ja liikkeen välinen epäsuhta, pintatason liikkeet, joissa ei oteta huomioon syvyysmuutoksia jne.
Onko jotain "yllättävää", jonka olet havainnut opinnoissasi ja jonka toivoisit useampien animaattoreiden tietävän? Onko olemassa sellaisia FACS-periaatteita, joita uudet animaattorit eivät mielestäsi huomaa?
Löydän koko ajan yllättäviä asioita! Mitä tulee löytöihin, joista toivoisin, että useammat animaattorit olisivat tietoisia - itse asiassa toivoisin, että animaattorit olisivat tietoisia kasvojen liikkeen perusperiaatteista. On valtava este, jos animaattori ei tunne kasvojen perusmekaniikkaa eikä pysty tehokkaasti kommunikoimaan tarpeitaan muille osastoille, kuten riggausosastolle.
Onko animaattoreiden määrittelemiä toimintayksiköitä tai pienempiä toimintayksiköitä, joiden avulla asioita voidaan jaotella edelleen?
On olemassa monia hahmottelevia "sub"-toimintayksiköitä, jotka on tehty helppokäyttöisyyden vuoksi. Sanon "luonnosmainen", koska jos näitä aliyksiköitä ei ole harkittu hyvin ja jos niitä ei käytetä varoen, ne voivat johtaa luonnottomiin kasvojen liikkeisiin.
Mitä tulee anatomian mukaisiin laillisiin jaotteluihin, olen varma, että niitä on olemassa. Olen joutunut jakamaan oman luetteloni alatoimintayksiköistä, jotta puheliikkeet voitaisiin määritellä paremmin. Animaattorit ovat ottaneet minuun yhteyttä ja sanoneet, että he ovat eritelleet samat liikkeet luodakseen realistista puhetta. Yksi kriittisistä alatoimintayksiköistä, jotka olen lisännyt FACS-resursseihini, on muoto, jota kutsun "pystysuoraksi huulen kiristimeksi". Voit googlettaa sen tai hakea sitä minun FACS-huijauslehti lisätietoja.
Takilointi
Luovatko useimmat takiloitsijat FACS-takiloita käyttäen sekoitusmuotoja tai liitoksia?
Ne, joiden kanssa olen työskennellyt, käyttävät useimmiten sekoitusmuotoja. Blendimuodot antavat laadukkaampia tuloksia, mutta ne voivat olla kalliita ja tilaa vieviä. Joints ovat halvempia mutta myös halvemman näköisiä.
En ole varma, miten muotoilisin kysymyksen tarkalleen... Kun pidetään mielessä, että control rigin tarkoitus on yksinkertaistaa monimutkaisia liikkeitä, jotta animaattori voi työskennellä nopeasti ja tehokkaasti (muuten animaatio olisi vain vertsien animaatiota) - FACS näyttää korostavan asioiden pilkkomista yksittäisiin lihasryhmiinsä (anatominen taso). Miten animaattorit voivat mielestäsi ohjata monimutkaisia lihasryhmiä tarkasti mutta myös "kätevästi"?
Kätevät muotoyhdistelmät on tehtävä tapauskohtaisesti. Se riippuu asiayhteydestä - kuten hahmon suunnittelusta, hahmon käyttäytymisestä, halutusta yleisöstä jne. Haluaisin työskennellä riggerin kanssa luodakseni työkaluja, jotka voivat auttaa animaattoreita monimutkaisten muotojen rakentamisessa tiettyjä skenaarioita varten.
Työskentelin Marvelin "What If?" -sarjan jakson parissa hahmon parissa, jolla oli vain viisi muotoa kasvojen rigissä. Luuletko, että on olemassa tyylilajeja, jotka voivat selvitä vähemmälläkin FACS:llä ja välittää erilaisia tunteita?
Hämmästyttävää, että kasvot ovat vain 5 muotoa! Se asettaa monet asiat oikeaan perspektiiviin. Uskon, että tyylittely voi selvitä vähemmillä FACS-muodoilla. Se riippuu hahmosta. Esimerkiksi emojilla ei ole nenää, joten se poistaa muutaman muodon. Jos haluaisit animoida Hello Kittyn, sinun ei tarvitsisi huolehtia suun tai kulmien muodoista. Joistakin tyylitellyistä ihmisistä voisi poistaa kourallisen muotoja, jotka näyttävät tarpeeksi samankaltaisilta muiden muotojen kanssa. Jälleen kerran, se riippuu!
Mitkä ovat mielestänne 3-5 tärkeintä ja hyödyllisintä AU:ta, joiden avulla voidaan rakentaa perushahmo (ehkä jotain pientä kivikokoelmaa) ilmaisemaan / emootioimaan / "puhumaan"?
LOL. Kivi? Jos kyseessä on vain puhuminen: kulmakarvojen ilmeet ja yksinkertaiset suunliikkeet. Jotta voisin kertoa enemmän, sinun pitäisi olla... asiakas!
Mikä on suositeltava työnkulku FACS-laitteiden kanssa työskentelyyn?
Tee tarkistuslistoja. Pidä asiakirjat käsillä. Ilmaisuja ja vaihtoehtoja on niin paljon, että voi olla helppoa unohtaa asioita/toistaa samoja liikkeitä.
Mitä pääilmaisuja (AU) käyttäisit, jos haluaisit tehdä mahdollisimman optimoidun sekoitusmuotojärjestelmän (esimerkiksi jos sinulla on peli, jonka resurssit ovat hyvin rajalliset). Kuinka timmiksi voisit tehdä tämän järjestelmän perusmuodossaan?
Riippuu pelistä. Mistä pelissä on kyse? Miltä hahmot näyttävät? Mitä haluat yleisön tuntevan ja kokevan?
Mallintaminen
Miten FACS liittyy sekoitusmuotoihin? Ja ovatko toimintayksiköt suorituskykyisiä pelejä varten?
Sekoitusmuodot perustuvat tyypillisesti FACS-muotoihin tai eri FACS-muotojen yhdistelmiin. Monet peliyhtiöt käyttävät FACS:ää tekniikassaan ja animaatiossaan. Voit määrittää ohjaimia, jotka edustavat toimintayksiköitä.
Onko FACS:n käytössä mitään vivahteita, kun luodaan tyyliteltyjä, mutta realistisia hahmoja, kuten Alita Battle Angelin Alita?
Totta kai. Aina kun kasvojen rakenteita muutetaan, on haastavaa, miten liikkeet muunnetaan ja miten tärkeät kasvojen kiintopisteet siirretään.
Millä kasvojen rakennusmallinnusohjelmalla on tarkimmat FACS-esitykset? Character Creator ja FaceBuilder ovat minulle tuttuja.
Nykyään varaan työkalujen arvioinnin tarpeen mukaan asiakkaille. Ota rohkeasti yhteyttä, jos haluat tehdä yhteistyötä: facetheFACS@melindaozel.com.
VFX
Animaatio- / VFX-maailmassa työskentelemme usein arpisten / epämuodostuneiden hahmojen parissa. Oletko tutkinut vammatapauksia ja sitä, miten ne voivat vaikuttaa FACS:iin?
Olen tutkinut valikoituja vammoja ja sairauksia, jotka vaikuttavat kasvojen ilmeisiin. Tähän mennessä olen tutkinut eniten niin kutsuttua silmämunan sijoiltaanmenoa – tilaa, jossa silmät voivat työntyä huomattavasti ulos silmäkuopistaan (eli ponnahtaa ulos kasvoista). Sen voi aiheuttaa kilpirauhasen sairaus tai päävamma. On niin monia muita mielenkiintoisia tapauksia tutkittavana. Käsittelen niitä yksi kerrallaan! Jos haluatte nähdä tiettyjä arpia tai vammoja, lähettäkää minulle sähköpostia osoitteeseen facetheFACS@melindaozel.com.
Onko sinulla vinkkejä, miten välttää "outoja" tunteita puhuvissa eläimissä, esimerkiksi miten soveltaa antropomorfisia liikkeitä aiheuttamatta outoja tunteita? Esimerkiksi ero Apinoiden planeetta vs. Leijonakuningas -elokuvien välillä?
Jos teet leijona näyttää täsmälleen kuin leijona, mutta puhua ja laulaa Aivan kuten ihmisen kohdalla, se tulee olemaan outoa. Siihen ei voi tehdä paljon muuta kuin tinkiä realismista. Henkilökohtaisesti toivon, että trendi, jossa aiemmin animoituja klassikoita kopioidaan fotorealistisiksi uusintaversioiksi, loppuisi. Henkilökohtaiset tunteet syrjään, jos ajattelen ammattilaisen näkökulmasta, on olemassa useita keinoja ja kompromisseja, joilla outoutta voidaan vähentää – mutta en usko, että siitä voi päästä täysin eroon. Planetin osalta on paljon helpompaa antropomorfisoida eläimiä, joilla on samanlaiset kyvyt kuin ihmisillä.
Onko olemassa erityisiä FACS-ihmismuotoja / -asentoja, joita VFX-teollisuus mielestäsi kamppailee tavoitellakseen fotoreaalisissa hahmoissa?
Huomattavimmat niistä ovat poskien kohotus ja nenän ryppyjen kohotus; on olemassa monia muitakin hienovaraisia muotoja, joita voisi myös parantaa.
Teknologia
Miten verrataan FACS:ää siihen, mitä syväoppimisessa tehdään?
Useimmat kasvojen ja tunteiden seurantaan erikoistuneet yritykset käyttävät FACS:ää koneoppimiseen. Ne käyttävät FACS:ää dataputkiensa kartoittamiseen. Ne keräävät tietoja FACS-pohjaisilla ilmeillä. Ne kouluttavat koneitaan FACS-pohjaisella luokittelulla jne. Vaikka et käyttäisikään FACS-pohjaista lähestymistapaa, tarvitset silti FACS:ää tunnistamaan ja ilmoittamaan epäonnistumisalueet, jotta voit arvioida tietotarpeita tekniikan parantamiseksi.
Onko olemassa olemassa olevia FACS-tietoaineistoja, joita voisimme käyttää koneoppimismallin kouluttamiseen kasvojen ja puheen avulla?
Sen perusteella, mitä olen nähnyt työskennellessäni kasvojen jäljittämisen parissa, useimmat tietokokonaisuudet ovat täynnä epäpuhtaita tietoja. Sinun pitäisi pystyä tutkimaan tiedot tarkkaan ja siivoamaan paljon roskia. Jos sinulla on resursseja, suositellaan sisäisten tiedonkeruu- ja merkintäjärjestelmien luomista. Jos olet luomassa omia datatiimejä, lue seuraavaa Tunteiden seurannan harha.
Suositteletko sovelluksia, jotka poimivat FACS:n vankasti? Voitko suositella jotain sovellusta FACS:n louhintaan?
Jos tarkoitat FACS:ää hyödyntävällä sovelluksella automaattista FACS-ilmaisinta/seurantaa, sanoisin, että ei. En suosittele voimakkaasti mitään sovelluksia. Joillakin sovelluksilla voidaan havaita hyvin yksinkertaisia, suuren intensiteetin ilmentymiä, mutta ne eivät useinkaan pysty havaitsemaan hienovaraisia tai kerroksellisia ilmentymiä. Uskon, että olemme kaukana jostain, joka on todella vankka, erityisesti useimpien johtavien teknologiayritysten tietojen laiminlyönnin vuoksi. Lue lisää täällä ja täällä.
iPhonessa on 52 ilmaisua, riittääkö se hyvään animaatioon? Jos ei, miten iPhonen avulla voi lisätä lisää FACS-muotoja?
Haluatko luoda puolistylisoituja tai hyvin stylisoituja hahmoja, joilla on perusliikkeet? Jos niin, se voi olla hyvä ratkaisu. Jos haluat luoda fotorealistisempia ja ilmeikkäämpiä hahmoja, tämä ei riitä tarvitsemasi laadun saavuttamiseen. Koska olen enemmän havainnoinnin ja kritiikin puolella, en osaa neuvoa, miten voit lisätä FACS-muotoja. Voin kuitenkin antaa neuvoja, jos kerrot minulle, mitä tarpeita sinulla on hahmoillesi, mitä haluat saavuttaa ilmaisullisuuden suhteen ja mitä muotoja sinun ehkä pitäisi lisätä saadaksesi haluamasi tuloksen: facetheFACS@melindaozel.com
3D-live-avatareiden suosio on kasvanut, mutta niistä puuttuu paljon kasvojen ilmeitä. Miten voimme mielestäsi parantaa reaaliaikaisia digitaalisia ihmissuorituksia?
Tässä on kaksi osaa:
1. Tekniikka. Kasvojen seurantatekniikka ei ole vielä täysin siellä, missä haluamme sen olevan. Onnistuneita live-avatareita voidaan tehdä harmonisoimalla tekniikka ja taide. On tehtävä laajaa tutkimusta ja havainnointia sen arvioimiseksi, miten seurantatekniikka reagoi erilaisiin kasvoihin. Lisäksi avatarien tavoitteet on arvioitava. Mitkä ilmeet ovat kontekstin perusteella ensisijaisia? Riippuen tilanteista, joissa avatareja käytetään, eri ilmeillä on eri prioriteettitasot.
2. Taide. Vaikka tekniikka ei olekaan siellä, missä haluaisimme sen olevan, taiteen avulla voi väärentää paljon siitä. Taidepuolen kautta voi teeskennellä, kun on selvillä, mikä tekniikassa ei toimi ja mitä haluaa priorisoida avatarin ilmeissä. Kun olin Metassa, työskentelin intensiivisesti datan parissa ja tutkin, miten tekniikka toimi eri kasvoilla. Pystyessäni tunnistamaan nämä puutteet pystyin työskentelemään tehokkaasti mallintajan kanssa, jotta pystyin peittämään toistuvat ongelmat taidepuolella. Useimmat onnistuneen näköiset avatarit saadaan aikaan peittämällä tekniikan ongelmat taiteella.
Miten FACS voi tukea erilaisia aksentteja ja miten erilaiset ääntämistavat vaikuttavat tyyliteltyjen hahmojen ilmeisiin/liikkeisiin?
Puhutun kielen pienimpiä merkityksellisiä ääniyksiköitä kutsutaan foneemeiksi. Eri kielet koostuvat erilaisista foneemikokonaisuuksista. Taiteessa ja puhetekniikassa foneemit ryhmitellään sen mukaan, miltä ne näyttävät tuotettuina. Toisin sanoen foneemit ryhmitellään yhteen sen perusteella, millaisia muotoja suumme muodostavat niitä tuottaessaan. Näitä visuaalisesti ryhmiteltyjä foneemeja kutsutaan nimellä visemes. Esimerkki erillisistä foneemeista, jotka muodostavat yhden viseemin, ovat bilabiaaliset äänteet: Vaikka B, M ja P ovat erillisiä foneemeja, kun tuotamme näitä äänteitä, huulet ovat pohjimmiltaan samassa muodossa. B:n, M:n ja P:n tuottaminen näyttää samalta, joten B, M ja P muodostavat yhden viseemin. FACS-muotoja voidaan käyttää visemin karkeaan esittämiseen, vaikka tarkemmat yksityiskohdat saattavat puuttua (käsitellään tämän vastauksen lopussa).
Aksentteja syntyy, kun samaan sanaan käytetään eri äänteitä. Tarkastellaan esimerkiksi sanaa "auto". Amerikkalaisessa englanninkielisessä versiossa car äännetään "a" eri tavalla kuin brittiläisessä englanninkielisessä versiossa; siksi amerikanenglannissa käytetään eri foneemia Lisäksi amerikanenglanninkielisessä versiossa äännetään "r", kun taas brittiläisessä englanninkielisessä versiossa ei.
Vaikka "auto" on sama sana, jolla on sama merkitys sekä amerikan- että brittienglannissa, sen ääntäminen koostuu eri äänteistä riippuen siitä, mitä englantia käytetään.
Jos FACS-muotoja käytetään viseemin luurangon luomiseen ja eri aksenteilla lausuttu sana koostuu eri foneemeista, niin sana koostuu usein myös eri viseemeistä. Vaihteleva viseemikaava tarkoittaa sitä, että samoihin sanoihin voidaan soveltaa eri aksentein erilaisia FACS-muotoja. Tämä jaottelu tarkoittaa, että on erittäin tärkeää ottaa huomioon puheen äänteet ja sanojen foneemiset vaihtoehdot - ei kirjaimia, joista sanat itsessään koostuvat.
FACS:n ja puheen suurimmat ongelmat liittyvät foneemeihin, jotka tuotetaan kasvojen ilmeiden mekaniikan ulkopuolella – esimerkiksi kurkkukielissä. Lisäksi FACS:ssa on yleensä muutamia puuttuvia lenkkejä puheen muotojen osalta – jopa amerikanenglannin kohdalla. Tämän puutteen vuoksi olen määritellyt alatoimintayksiköitä, kuten “vertikaalinen huulien kiristäjä” ja “y-akselin dimpler”. (Katso FACS-huijauslehti lisätietoja.)
Työni
Harjoitteletko kasvoharjoituksia? Jos kyllä - kuinka usein?
Harjoittelen lähes päivittäin. Harjoitteluni vaihtelee sen mukaan, mitä kasvojen osa-aluetta juuri nyt tutkin. En käy joka päivä läpi kaikkia FACS-toimintoja, mutta treenaan varmasti aina jotain kasvolihasta!
Millainen on portfoliokatselmuksen saaminen?
Tutustu minun Salkun tarkastelu sivu 😀
Olitko mukana Epicin MetaHumansissa?
Minä tein sen! Työskentelin joidenkin heidän tiimiensä kanssa parantaakseni laitteistoa kasvojen anatomiakoulutuksen ja konsultoinnin avulla. Tulosten pitäisi näkyä, kun tuotteen myöhempi versio on julkaistu.
Onko mielessäsi sellaisia elokuvia tai videopelejä, joissa olit konsulttina ja joista olet erityisen ylpeä?
Kyllä! Olen todella ylpeä siitä, että olen ollut mukana kahdessa merkittävällä tekoälyavusteisessa elokuvassa. Työskentelin Tom Hanksin, Robin Wrightin ja Paul Bettanyn ikääntymisen poistamisessa Robert Zemickisin elokuvassa Tässä, ja työskentelin huulisyntron tekniikan parissa Tarkkaile taivasta. Olin myös ylpeä saadessani työskennellä Meta-sovelluksen emoji-suunnittelun parissa, sillä sitä käyttää yli miljardi ihmistä!
Onko projekteja, jotka puhuttelevat sinua enemmän kuin toiset (dramaattinen/komediallinen, tyylitelty/fotorealistinen, VR/2D)?
Konsulttina nautin sekä tyylitellyistä että fotoreaalisista projekteista. Kummassakin on omat haasteensa. Sama pätee draamaan ja komediaan! Katsojana pidän enemmän komediasta ja tyylitellystä.
Sekalaiset
Miten lähestyisit zombien ilmeitä?
Varaisin zombien kasvonilmeet toiminnallisiin liikkeisiin, joita tarvitaan syömiseen ja hyökkäämiseen, koska klassisessa zombikirjallisuudessa ne tekevät pääasiassa juuri sitä! Leuka ja suu olisivat etusijalla. Voit myös muokata näiden liikkeiden toimintaa eri rappeutumisasteiden mukaan.
Muotokuvaajana mietin, miten FACS sopisi työhöni. Olisiko siitä hyötyä, kun suunnitellaan etukäteen kuvausta tai analysoidaan lopullisia kuvia, jotta nähdään, mikä välittää parhaiten haluamasi tunteen? Veisikö FACS rehellisyyden?
Valokuvaajana en sanoisi, että sinun tarvitsee olla FACS-mestari, mutta silmä jäykkien / tekaistujen / epämiellyttävien ilmeiden havaitseminen voi olla hyödyllistä erityisesti, kun (1) päätät, mitä otoksia valitset asiakkaillesi ja (2) autat mallejasi näyttämään rennommilta.
Olin ennen mallina muotokuvaajille, ja hyvän kasvotietoisuuden ansiosta pystyin poseeraamaan paremmin. Tajusin esimerkiksi, että jos pidin poseerausta liian kauan, aktivoitui ylimääräisiä lihaksia, joita en halunnut kuvaan, joten varmistin, että minulla oli hyvä kommunikaatio valokuvaajani kanssa / tiesin, milloin he pystyivät napsimaan kuvan. Tieto siitä, milloin he ottaisivat kuvan, auttoi minua poseeraamaan oikeaan aikaan ja saamaan ilmeen näyttämään luonnollisemmalta. Pystyin myös vähentämään hermostuneita ilmeitä rentouttamalla kasvoni, kun tunsin niiden jännittyvän.
Samanlaisia asioita voitaisiin tehdä myös valokuvaajan puolella. Jos et ole luonnostaan taitava lukemaan ihmisten ilmeitä/tunnelmia, FACS voi olla erityisen hyödyllinen. Olen työskennellyt monien valokuvaajien kanssa, joilla ei ollut luonnollista silmää havaita epämukavia asentoja, ja he olisivat varmasti voineet käyttää teknistä FACS-tietämystä.