ARKit naar FACS: Blendshape spiekbriefje

ARKit naar FACS spiekbriefje

Welkom bij het ARKit-naar-FACS spiekbriefje! Hier vind je uitleg over het vertalen van ARKit-gezichtsvormen naar hun FACS-equivalenten (Facial Action Coding System). Vanwege de moeilijkheden bij het onderscheiden van vergelijkbare FACS-vormen en het gebrek aan duidelijke uitleg in de devkit van Apple, zijn er veel foute vertalingen van ARKit naar FACS te vinden. Pas op. Deze gids is bedoeld om verwarring weg te nemen en veelvoorkomende misvattingen ongedaan te maken!

Scroll naar beneden om meteen naar het spiekbriefje te gaan.

Moeilijkheden met AR-ontwikkeltools

Als jij of je team open-source gezichtsherkenningspakketten gebruikt om:

  • gezichten animeren
  • overlay virtuele inhoud
  • op expressie gebaseerde gebeurtenissen maken
  •  

. . uitzoeken wat wat is kan een uitdaging zijn - vooral als jij of je team geen sterke achtergrond hebben in:

  • gezichtsuitdrukkingen
  • gezichtsherkenning
  • het gezichtsactiecodesysteem (FACS)
  •  

Vaag gedefinieerde termen

Software-ontwikkelkits (SDK's) voor gezichtsherkenning kunnen om een aantal redenen verwarrend zijn. Een grote bijdrage aan deze verwarring is het gebrek aan gedetailleerde documentatie voor gebruikers.

Menselijke gezichtsuitdrukkingen zijn complex en rijk aan nuances. Het is niet altijd eenvoudig of intuïtief om te begrijpen hoe uitdrukkingen moeten worden geïdentificeerd en afgebroken. Ondanks deze realiteit bieden face tracking kits vaak slechts minimalistische definities voor de expressievormen in hun bibliotheken.

Minimaal gedefinieerde expressievormen:

    • ruimte creëren voor verkeerde interpretaties door gebruikers.
    • de kans vergroten dat gebruikers gelijk uitziende vormen door elkaar halen.
    • de mogelijkheden van de gebruiker om het product effectief te gebruiken beperken.

De dubbelzinnigheid omzeilen

Expressievormen in de meeste gezichtsherkenningsproducten (ondanks hun namen) zijn voornamelijk gebaseerd op FACS. Voor degenen die misschien sceptisch zijn: FACS is afgeleid van anatomie; dus tenzij een gezichtskit de basis van de menselijke gezichtsanatomie volledig heeft vernietigd, zullen alle vormen FACS-equivalenten hebben.
Als je de gezichtsherkenningsproducten die je gebruikt beter wilt begrijpen, moet je jezelf vertrouwd maken met FACS.

De naamgeving van FACS is gestandaardiseerd. FACS is consistent. Elke FACS vorm heeft een gedetailleerde, goed gedefinieerde en zwaar onderzochte beschrijving. Als je goed bekend bent met FACS, kun je jezelf uitrusten met de hulpmiddelen die je nodig hebt om de ambiguïteit van de meeste expressiebibliotheken te compenseren.

Of je nu wel of geen FACS-savvy bent, als je een duidelijkere uitsplitsing wilt van ARKit-gezichtsuitdrukkingsvormen, dan is dit het document voor jou 🙂

De Gids

SNELTOTAFEL

ARKit-label

bijbehorende FACS-naam/namen

bijbehorende spier(en)

referentie

browInnerUp

AU 1 - innerlijke wenkbrauwverhoging

frontalis, mediaal deel

vrouw die haar binnenste wenkbrauw optrekt

wenkbrauwBuiten (links & rechts)

AU2 - buitenste wenkbrauwverhoger

frontalis, lateraal deel

vrouw die de buitenste toppen van haar wenkbrauwen optrekt

browDown (links & rechts)

AU4 - wenkbrauwverlager

corrrugator supercilii, depressor supericilii, procerus

vrouw fronst haar wenkbrauwen en kijkt boos

eyeWide (links & rechts)

AU5 - bovenste ooglidverhoger

levator palpebrae superioris

close-up van vrouw die haar ogen verwijdt

wangSquint (links & rechts)

AU6 - wangverhoger

orbicularis oculi, orbitaal gedeelte

vrouw glimlacht met haar ogen

oogSquint (links & rechts)

AU7 - dekselspanner

orbicularis oculi, palpebrale gedeelte

close-up van vrouw die haar ogen vernauwt

eyeBlink (links & rechts)

AU45 - knipperen

ontspanning van levator palpebrae superioris & contractie van het palpebrale deel van orbicularis oculi

AU45 - knipperen - orbicularis oculi - GIF - geanimeerd - Facial Action Coding System - FACS

eyeLookUp (links & rechts)

M63 - ogen omhoog

superieure rectus & inferieure oblique**

eyeLookUp - ARKit-referentie

oogKijkNeer (links & rechts)

M64 - ogen naar beneden

inferieure rectus & superieure oblique**

ARkit referentie

oogKijkIn (links & rechts)

AU66 - kruisoog (indien toegepast op beide ogen tegelijk); anders moet eyeLookInLeft worden gekoppeld aan eyeLookOutRight voor blik naar rechts (FACS M62), terwijl eyeLookInRight moet worden gekoppeld aan eyeLookOutLeft voor blik naar links (FACS M61).

mediale rectus**

oogopslag links + oogopslag rechts - kruisoogreferentie

kruisoog 

blik naar links + blik naar rechts - blik naar rechts

rechtse blik 

eyeLookOut (links & rechts)

AU65 - walleye (wanneer toegepast op beide ogen tegelijk); zie hierboven voor linksom versus rechtsom kijken

laterale rectus**

walleye referentie FACS naar buiten kijken

walleye

OPMERKING: Ik kon geen echte walleye maken, dus heb ik mijn rechteroog gephotoshopt. Gebruik deze niet als een legitieme referentie, lol. (Je kunt de binnenste oogbaan onnatuurlijk zien verschuiven).

oogopslag rechts + oogopslag links - blik naar links ARKit

blik naar links

neusSneer (links & rechts)

AU9 - neusrimpelaar

levator labii superioris alaeque nasi

AU9 - neusrimpel - FACS - Facial Action Coding System - verwijzing naar walging

mondUpper (links & rechts)

AU10 - bovenlipverhoger

levator labii superioris

AU10 - bovenlipverhoger - FACS - Facial Action Coding System

mondSmile (links & rechts)

AU12 - liphoektrekker

grote zygomaticus

AU12 - lipcorrectietrekker - FACS - Facial Action Coding System

mond (links & rechts)

Zie opmerkingen in Uitgebreide gids.

Zie opmerkingen in Uitgebreide gids.

mond links - ARKit-referentie

mondDimple (links & rechts)

AU14 - dimpler

buccinator

AU14 - dimpler FACS

mondFronst (links & rechts)

AU15 - liphoekspatel

depressor aguli oris

AU15 - lippenhoekspatel - FACS - Facial Action Coding System

mouthLowerDown (links & rechts)

AU16 - onderlipspatel

depressor labii inferioris

AU16 - onderlip depressor - FACS - Facial Action Coding System

mondHoofd omhoog

AU17 - kinverhoger - split boven

secundair effect van de mentalis

AU17 - kinbeschermer in FACS maar mondbeschermer in ARKit

CRITISCHE OPMERKINGmouthShrugUpper is **CONTINGENT OP mouthShrugLower en is alleen van toepassing als de lippen elkaar al raken of ZULLEN raken door de intensiteit van mouthShrugLower.

Ik heb dit onderscheid bevestigd met voormalige leden van FaceShift (het bedrijf dat de originele gezichtsvormen heeft gemaakt waarvan ARKit is afgeleid voordat Apple ze uitkocht).

Als je de ICT-FaceKit gebruikt, hebben ze mouthShrugUpper verkeerd vertaald als "bovenlipversteviger" en hebben ze de eigenlijke "bovenlipversteviger" vormen, mouthUpperUp_L & mouthUpperUp_R verkeerd vertaald als "nasolabiale groefverdieping".

mondDrukLager

AU17 - kinverhoger - split onder

mentalis

AU17 - kin omhoog in FACS, maar mondhoek omlaag in ARKit

ZIE DE VOLGENDE OPMERKING in het gedeelte Mondstuk Boven.

wangPuff

AD34 - soesje

buccinator

Wangpuff - ARKit vs. AD34 - puff - FACS

mondPucker

AU18 - lip pucker

incisivus labii superioris, incsivus labii inferioris

AU18 - lip pucker (kus gezicht) - FACS - Facial Action Coding System

mouthStretch (links & rechts)

AU20 - lipbrancard

risorius

close-up van het ondergezicht van een vrouw die haar lippen strekt

mondTunnel

AU22 - liptrechter

orbicularis oris

AU22 - liptrechter - FACS - gezichtscoderingssysteem

mondPress (links & rechts)

AU24 - lippendrukker

orbicularis oris

AU24 - lippendrukker - FACS - gezichtscoderingssysteem

mouthClose

AU8, maar zie opmerkingen in Uitgebreide gids.

orbicularis oris, maar zie opmerkingen in Uitgebreide gids.

ARKit mond dicht referentie AKA FACS AU8 - lippen naar elkaar toe

mondrol (boven & onder)

AU28 - lippen zuigen

orbicularis oris

AU28 - lippen zuigen -orbicularis oris - FACS - Facial Action Coding System

kaakOpen

AU26 - kaakval of AU27 - monduitrekking

(AU26) ontspanning van de kauwspier, de temporalis en de interne pterygoïdspier of AU27) laterale pterygoïdspier en de suprahyoïdspier (voorste digastrische spier, geniohyoïdspier en mylohyoïdspier).

AU26 - kaakval - FACS - Facial Action Coding System

kaak (links & rechts)

AD30 - kaak opzij

pterygoïden en temporalis

AD30 - kaak opzij - FACS - Facial Action Coding System

kaakVoorwaarts

AD29 - kaakstuwkracht

pterygoïden en kauwspieren

AD29 - kaakbeweging - FACS - gezichtsactiecoderingssysteem

** = Duidt op een oversimplificatie van musculaire correlaten. De spieren die te maken hebben met de blik zijn bijvoorbeeld veel complexer dan "rectus superior = ogen kijken omhoog". Ze werken eerder samen in een systeem van relativiteit. Voor het doel van deze gids worden bewegingen echter gekoppeld aan de meest relevante en idealistische spieren.

OVERIGE OPMERKINGEN

ARKit mist een aantal belangrijke acties voor alledaagse expressie en emotie. Ontbrekende FACS-officiële vormen zijn onder andere:

  • AU11 - nasolabiale groefverdieping - kleine zygomaticus
  • AU13 - scherpe lip trekker - levator anguli oris
  • AU23 - lipverstrakker - orbicularis oris
  • AU38 - neusgatverwijderaar - dilatator naris
  • AU39 - neusvleugel compressor - depressor septi & transversale nasalis

Andere ontbrekende vormen:

AANVULLENDE BRONNEN

  • Ga voor meer referenties en informatie over FACS (Facial Action Coding System) naar de FACS spiekbriefje.

Ontworpen voor studio's en teams

Laten we praten.

facetheFACS@melindaozel.com