Von ARKit zu FACS: Blendshape Spickzettel

ARKit zu FACS Spickzettel

Willkommen zum ARKit zu FACS Cheat Sheet! Hier finden Sie Aufschlüsselungen, wie Sie ARKit-Gesichtsformen in ihre FACS-Äquivalente (Facial Action Coding System) übersetzen können. Aufgrund der Schwierigkeiten bei der Unterscheidung ähnlicher FACS-Formen sowie des Mangels an klaren Erklärungen im Devkit von Apple gibt es viele Fehlübersetzungen von ARKit zu FACS da draußen. Achtung! Dieser Leitfaden soll Verwirrung stiften und häufige Missverständnisse ausräumen!

Scrollen Sie nach unten, um direkt zum Spickzettel zu gelangen.

Schwierigkeiten mit AR-Entwicklungs-Toolkits

Wenn Sie oder Ihr Team Open-Source-Kits zur Gesichtsverfolgung verwenden:

  • Gesichter animieren
  • virtuelle Inhalte überlagern
  • ausdrucksbasierte Ereignisse erstellen
  •  

. . herauszufinden, was was ist, kann eine Herausforderung sein - vor allem, wenn Sie oder Ihr Team nicht über fundierte Kenntnisse verfügen:

  • Gesichtsausdrücke
  • Gesichtsverfolgung
  • das Facial Action Coding System (FACS)
  •  

Vage definierte Begriffe

Face Tracking Software Development Kits (SDKs) können aus einer Reihe von Gründen verwirrend sein. Einen großen Anteil an dieser Verwirrung hat der Mangel an ausführlicher Dokumentation, die den Benutzern zur Verfügung steht.

Die menschliche Mimik ist komplex und nuancenreich. Es ist nicht immer einfach oder intuitiv zu verstehen, wie man Ausdrücke erkennt und aufschlüsselt. Trotz dieser Tatsache bieten Gesichtsverfolgungs-Kits oft nur minimalistische Definitionen für die Ausdrucksformen in ihren Bibliotheken.

Minimal definierte Ausdrucksformen:

    • Raum für Fehlinterpretationen durch den Benutzer schaffen.
    • erhöhen die Wahrscheinlichkeit, dass der Benutzer ähnlich aussehende Formen verwechselt.
    • die Möglichkeiten des Benutzers, das Produkt effektiv zu nutzen, einschränken.

Umgehung der Zweideutigkeit

Die Ausdrucksformen in den meisten Gesichtsverfolgungsprodukten (trotz ihrer Namen) basieren hauptsächlich auf FACS. Für diejenigen, die vielleicht skeptisch sind: FACS leitet sich von der Anatomie ab; wenn also ein Face-Kit die Grundlagen der menschlichen Gesichtsanatomie nicht völlig auslöscht, haben alle Formen FACS-Entsprechungen.
Wenn Sie ein besseres Verständnis für die von Ihnen verwendeten Gesichtserkennungsprodukte entwickeln möchten, sollten Sie sich mit FACS vertraut machen.

Die Benennung von FACS ist standardisiert. FACS ist konsistent. Jede FACS-Form hat eine detaillierte, gut definierte und umfassend recherchierte Beschreibung. Wenn Sie sich mit FACS gut auskennen, können Sie sich mit den Werkzeugen ausstatten, die Sie benötigen, um die Mehrdeutigkeit der meisten Ausdrucksbibliotheken auszugleichen.

Egal, ob du dich mit FACS auskennst oder nicht, wenn du eine klarere Aufschlüsselung der ARKit-Mimikformen möchtest, ist dies das richtige Dokument für dich 🙂 .

Der Leitfaden

SCHNELLTABELLE

ARKit-Etikett

entsprechende(r) FACS-Name(n)

entsprechende(r) Muskel(e)

Referenz

BrowInnerUp

AU 1 - Innenbrauenanhebung

Frontalis, medialer Teil

Frau hebt ihre innere Augenbraue

browOuter (links und rechts)

AU2 - äußere Augenbrauenanhebung

Frontalis, seitlicher Teil

Frau zieht die äußeren Spitzen ihrer Augenbrauen hoch

browDown (links und rechts)

AU4 - Stirn senken

Corrrugator supercilii, Depressor supericilii, Procerus

Frau zieht die Augenbrauen hoch und sieht verärgert aus

eyeWide (links und rechts)

AU5 - Oberlidstraffung

levator palpebrae superioris

Nahaufnahme einer Frau, die ihre Augen weitet

cheekSquint (links und rechts)

AU6 - Wangenerhöhung

orbicularis oculi, Augenhöhlenabschnitt

Frau lächelt mit ihren Augen

eyeSquint (links und rechts)

AU7 - Deckelspanner

Augenhöhle, Augenlidanteil

Nahaufnahme einer Frau, die ihre Augen verengt

eyeBlink (links und rechts)

AU45 - Blinken

Entspannung des Levator palpebrae superioris und Kontraktion des palpebralen Teils des Orbicularis oculi

AU45 - Blinzeln - Orbicularis oculi - GIF - animiert - Facial Action Coding System - FACS

eyeLookUp (links und rechts)

M63 - Augen auf

Rektus superior und Schrägstrich inferior**

eyeLookUp - ARKit-Referenz

eyeLookDown (links und rechts)

M64 - Augen nach unten

Rektus inferior & Schrägstrich superior**

eyelookdown ARkit Referenz

eyeLookIn (links und rechts)

AU66 - Kreuzblick (wenn beide Augen gleichzeitig betroffen sind); andernfalls muss eyeLookInLeft mit eyeLookOutRight gepaart werden, um nach rechts zu blicken (FACS M62), während eyeLookInRight mit eyeLookOutLeft gepaart werden muss, um nach links zu blicken (FACS M61)

medialer Rektus**

Lidstrich links + Lidstrich rechts - Kreuzblick

Kreuzpeilung 

Augenaufschlag nach links + Augenaufschlag nach rechts - Blick nach rechts

Blick nach rechts 

eyeLookOut (links und rechts)

AU65 - Walleye (bei gleichzeitiger Anwendung auf beide Augen); siehe oben für den Blick nach links und den Blick nach rechts

seitlicher Rektus**

Zander Referenz FACS Blick nach außen

Zander

ANMERKUNG: Ich konnte den Walleye nicht in echt machen, also habe ich mein rechtes Auge auf dem Bildschirm mit Photoshop bearbeitet. Nehmt dieses Bild nicht als eine Art legitime Referenz lol. (Man kann sehen, wie sich die innere Augenhöhle unnatürlich verschiebt.)

Blick nach rechts + Blick nach links - Blick nach links ARKit

Blick nach links

noseSneer (links & rechts)

AU9 - Nasenfalte

äußere Schamlippen (levator labii superioris alaeque nasi)

AU9 - Nasenrunzler - FACS - Facial Action Coding System - Ekelreferenz

mouthUpper (links & rechts)

AU10 - Oberlippenheber

Levator labii superioris

AU10 - Oberlippenhochlagerung - FACS - Facial Action Coding System

mouthSmile (links und rechts)

AU12 - Lippen-Eckenzieher

Zygomaticus major

AU12 - Lippeneckenzieher - FACS - Facial Action Coding System

Mund (links und rechts)

Siehe Anmerkungen in Umfassender Leitfaden.

Siehe Anmerkungen in Umfassender Leitfaden.

mouthleft - ARKit-Referenz

mouthDimple (links & rechts)

AU14 - Dimmer

buccinator

AU14 - dimpler FACS

mouthFrown (links und rechts)

AU15 - Lippeneckeckedrücker

Saugnapf

AU15 - Lippeneckenzieher - FACS - Facial Action Coding System

mouthLowerDown (links und rechts)

AU16 - Unterlippendrucker

depressor labii inferioris

AU16 - Unterlippendepressor - FACS - Facial Action Coding System

MundZuckenOber

AU17 - Kinnanhebung - obere Spalte

Sekundäreffekt der Mentalis

AU17 - Kinnanhebung in FACS, aber Mundverkleinerer in ARKit

KRITISCHER HINWEISmouthShrugUpper ist **CONTINGENT ON mouthShrugLower und ist nur anwendbar, wenn sich die Lippen bereits berühren oder aufgrund der Intensität von mouthShrugLower berühren WERDEN.

Ich habe diese Unterscheidung mit ehemaligen Mitgliedern von FaceShift (dem Unternehmen, das die ursprünglichen Gesichtsformen entwickelt hat, von denen ARKit abgeleitet ist, bevor Apple sie aufkaufte) bestätigt.

Wenn Sie das ICT-FaceKit verwenden, haben sie mouthShrugUpper als "upper lip raiser" unterschlagen und die eigentlichen "upper lip raiser"-Formen, mouthUpperUp_L & mouthUpperUp_R als "nasolabial furrow deepener" falsch übersetzt.

MundZuckenUnter

AU17 - Kinnanhebung - unterer Teil

mentalis

AU17 - Kinn höher in FACS, aber Mundzucken niedriger in ARKit

SIEHE ANMERKUNG OBEN im Abschnitt mouthShrugUpper.

cheekPuff

AD34 - Hauch

buccinator

cheekPuff - ARKit vs. AD34 - puff - FACS

mouthPucker

AU18 - Lippenkräuselung

Schamlippen (incisivus labii superioris), Schamlippen (incisivus labii inferioris)

AU18 - Lippenfalte (Kussmund) - FACS - Facial Action Coding System

mouthStretch (links & rechts)

AU20 - Lippenspanner

Risorius

Nahaufnahme des unteren Gesichts einer Frau, die ihre Lippen spitzt

mouthFunnel

AU22 - Lippentrichter

orbicularis oris

AU22 - Lippentrichter - FACS - Facial Action Coding System

mouthPress (links und rechts)

AU24 - Lippendrücker

orbicularis oris

AU24 - Lippendrücker - FACS - Facial Action Coding System

mouthClose

AU8, aber siehe Hinweise in Umfassender Leitfaden.

orbicularis oris, aber siehe Anmerkungen in Umfassender Leitfaden.

ARKit-Referenz Mund schließen AKA FACS AU8 - Lippen zueinander

mouthRoll (oben und unten)

AU28 - Lippen saugen

orbicularis oris

AU28 - Lippen lutschen - Orbicularis oris - FACS - Facial Action Coding System

jawOpen

AU26 - Kinnlade fallen lassen oder AU27 - Mund dehnen

(AU26) Entspannung der Muskeln Masseter, Temporalis und Pterygoideus internus oder (AU27) Pterygoideus lateralis und Musculus suprahyoideus (Digastricus anterior, Geniohyoideus und Mylohyoideus)

AU26 - Kinnladen - FACS - Facial Action Coding System

Kiefer (links und rechts)

AD30 - Kiefer seitlich

Pterygoide und Temporalis

AD30 - Kiefer seitwärts - FACS - Facial Action Coding System

jawForward

AD29 - Druck auf den Kiefer

Pterygoide und Masseter

AD29 - Kieferschub - FACS - Facial Action Coding System

** = Zeigt eine zu starke Vereinfachung der muskulären Korrelate an. Zum Beispiel sind die Muskeln, die mit dem Blick zusammenhängen, viel komplexer als "superior rectus = Augen schauen nach oben". Vielmehr arbeiten sie in einem System der Relativität zusammen. Für die Zwecke dieses Leitfadens werden die Bewegungen jedoch den relevantesten und idealistischsten Muskeln zugeordnet.

SONSTIGE ANMERKUNGEN

ARKit fehlen einige wichtige Aktionen für den alltäglichen Ausdruck und die Emotionen. Zu den fehlenden FACS-offiziellen Formen gehören:

  • AU11 - Nasolabialfurchenvertreiber - Jochbeinmuskel
  • AU13 - Scharfer Lippenabzieher - Schwertfortsatz (levator anguli oris)
  • AU23 - Lippenstraffer - Orbicularis oris
  • AU38 - Nasenflügeldehner - Dilatator naris
  • AU39 - Nasenlochkompressor - Depressor septi & transversus nasalis

Andere fehlende Formen:

ZUSÄTZLICHE RESSOURCEN

  • Weitere Referenzen und Informationen zu FACS (Facial Action Coding System) finden Sie in der FACS-Spickzettel.

Entwickelt für Studios und Teams

Lass uns reden.

facetheFACS@melindaozel.com