Ihre Fragen zu Mimik und FACS beantwortet!
Im Folgenden finden Sie eine Mischung aus häufig und selten gestellten Fragen, die sich auf das Facial Action Coding System (FACS) und die Mimik beziehen. Die Antworten richten sich vor allem an Animatoren, Modellierer, Rigger und andere Künstler sowie an Forscher und Ingenieure, die an Technologien zur Gesichtsverfolgung und digitalen Menschen arbeiten. Da der Text sehr umfangreich ist, empfiehlt es sich, nach Abschnitten zu blättern oder mit Strg+F nach Schlüsselwörtern zu suchen.
FACS-Grundlagen
Was ist FACS (Facial Action Coding System)?
FACS, das Facial Action Coding System, ist ein Klassifizierungssystem zur Benennung und Beschreibung sichtbarer Bewegungen des menschlichen Gesichts. Da FACS anatomisch basiert und sehr detailliert dokumentiert ist, ermöglicht es uns, komplexe Gesichtsausdrücke auf objektive und standardisierte Weise aufzuschlüsseln.
Die vollständige Erklärung folgt in Kürze!
Tipps zum Lernen und Studieren
Was empfehlen Sie Anfängern, um FACS zu studieren?
Das kommt darauf an. Wenn Sie Künstler sind, können Sie FACS über diese Website studieren, meine FACS-Spickzettel, das FACS-Handbuch oder mein FACS-Paukstunde; Allerdings werden Sie im offiziellen FACS-Handbuch möglicherweise nicht so viel für Ihr Geld bekommen, es sei denn, Sie sind bereit, Zeit und Geld ($350) zu investieren, um sich durch 500 Seiten Fachsprache zu kämpfen, die für ein anderes Publikum geschrieben wurde. Das Handbuch wird für Künstler nicht so viele relevante Informationen enthalten., da es speziell dafür entwickelt wurde, Benutzern beizubringen, wie man Gesichtsbewegungen mit strukturierten Forschungsmethoden codiert.
Wenn Sie in der akademischen oder technischen Forschung tätig sind und Verhaltensforschung betreiben wollen, sollten Sie FACS offiziell anhand des FACS-Handbuchs studieren und fehlendes Bildmaterial mit meine Website, FACS-Spickzettel, oder mein FACS-Paukstunde. Für akademische Forscher veranstaltet Erika Rosenberg Workshops für angehende Facial Coder.
FACS scheint sehr kompliziert zu sein. Wo und wie sollen Studenten wie ich anfangen?
FACS mag kompliziert erscheinen, aber das eigentliche Gesicht ist noch viel komplizierter. Ich habe erstellt Sich der FACS stellendenn das FACS-Handbuch kann sehr umfangreich sein, und es gibt keine zugänglichen (oder qualitativ hochwertigen) Ressourcen da draußen. Wie bereits erwähnt, können Sie die Ressourcen auf meiner Website nutzen, sowohl kostenlos und bezahlt. Sie können auch meinen sozialen Netzwerken folgen, um weitere kostenlose Referenzen, Tipps und informative Beiträge zu erhalten (Instagram: @manicexpression / Twitter: @melindaozel / LinkedIn).
Gibt es eine FACS-Bibel? Wo kann ich Referenzen zu verschiedenen FACS AUs (Action Units) finden?
Die wahre FACS-Bibel ist das FACS-Handbuch, aber ich ergänze meine Sammlung ständig. FACS-Spickzettel! Dieser Bogen ist dazu gedacht, grundlegende AUs zu zeigen. Ich habe Kombinationsformen verfügbar für Premium-Mitgliederund ich poste oft kostenlose Referenzen auf allen meinen sozialen Konten (Instagram: @manicexpression / Twitter: @melindaozel / LinkedIn). Um bestimmte AU-Kombinationen anzufordern, füllen Sie bitte das Formular am Ende dieser Seite aus.
Gibt es Tricks, die Künstlern dabei helfen, nicht überfordert zu sein, wenn sie sich die Sich der FACS stellen Sprache? Denn grünere Künstler finden, dass sie sich schnell dazu hinreißen lassen, zu viele Formen auf einmal auszulösen, was am Ende kontra-animierend wirken kann.
Beginnen Sie mit Teilbereichen des Gesichts. Beginnen Sie mit den Augenbrauen - sie sind am einfachsten. Achten Sie auf die FACS-Bezeichnungen; sie mögen zunächst beängstigend klingen, aber wenn Sie erst einmal erkannt haben, dass ihre Namen die Definition ihrer Bewegungen verraten, werden sie Ihr Freund! Zum Beispiel - Was bedeutet "innerer Augenbrauenheber"? Es bedeutet, dass der innere Teil Ihrer Augenbraue angehoben wird! Studieren Sie die grundlegende Anatomie zusammen mit FACS. Üben Sie die Ausführung der Formen an Ihrem eigenen Gesicht. Beobachten Sie die Bewegungen im wirklichen Leben und in Filmen/Sendungen/Social-Media-Videos. Heben Sie sich die Bewegungen mit dem Mund für den Schluss auf.
Was das Auslösen von zu vielen Formen auf einmal angeht, so können Sie mit einem grundlegenden Verständnis der Gesichtsanatomie und des FACS gängige Bewegungen und Kombinationen studieren, die in der natürlichen Welt vorkommen. Die Beobachtungen aus der realen Welt werden Ihnen dabei helfen, Ihre Strategie zu bestimmen, was Sie wann auslösen sollten.
Was sind Ihre bevorzugten Ressourcen/Tutorials, um FACS zu beherrschen?
Ich habe Sich der FACS stellen, da Quellen außerhalb des offiziellen FACS-Handbuchs fast immer ungenaue Informationen und Verweise enthalten. Das Handbuch selbst kann in Bezug auf bestimmte Gesichtsbewegungen ebenfalls vage sein. Ich habe Jahre des Selbststudiums und der Beobachtung gebraucht, um Bewegungen wie “Lippenstraffung”, “Vertiefung der Nasolabialfalte”, “Nasenflügelkompression” usw. wirklich zu verstehen. Das Ziel dieser Website ist es, Verwirrung bezüglich FACS zu minimieren und falsche Nachrichten über Gesichter zu bekämpfen.
Ich habe mich mithilfe des FACS-Handbuchs und dank der Unterstützung meiner Mentoren während meines Praktikums am Zurich Interaction and Expression Laboratory – Willibald Ruch, Tracey Platt und Jennifer Hofmann – ausreichend mit FACS vertraut gemacht. Alles, was ich darüber hinaus gelernt habe, habe ich durch Erfahrung, Praxis und Beobachtung in der realen Welt gelernt.
Für Anfänger empfehle ich folgende Ressourcen zum Thema Anatomie:
- Das Gesicht des Menschen und die mimische Sprache von Carl-Herman Hjortsjö. Dieses kostenlose, herunterladbare Buch ist eine künstlerfreundliche Ressource für alle, die sowohl FACS als auch die Gesichtsanatomie verstehen möchten. Hjortsjö ist im Grunde genommen der Urvater von FACS. Ohne seine Beiträge zur Gesichtsanatomie und zu Studien über Gesichtsbewegungen wäre FACS nur ein Bruchteil dessen, was es heute ist. Ein Großteil von FACS ist aus Hjortsjös Arbeit entlehnt – obwohl er dafür nie annähernd genug Anerkennung erhält.
- Menschliche Anatomie für Künstler: Die Elemente der Form von Eliot Goldfinger. Ich finde es toll, wie dieses Buch die Gesichtsmuskeln auf effektive und doch einfache Weise aufschlüsselt. Es ist das klarste und genaueste Buch, das ich kenne, und es erkennt die Vielfalt der Gesichtsmuskeln an. Für fortgeschrittene Anatomie-Ressourcen müssen Sie sich auf die Suche nach Forschungsarbeiten begeben!
Gibt es irgendwelche Ressourcen, die Sie empfehlen können, um gute Gesichtsreferenzen zu finden? Wir entwickeln eine konversationelle KI. Ich arbeite an der Animation, dem Ausdruck und den Körperbewegungen. Wir machen unsere Arbeit meist manuell und unsere Figuren sehen oft unnatürlich aus.
Meine FACS-Spickzettel und gesamte Website sind voll von Hinweisen auf grundlegende Ausdrücke, Emotionen und Rede. Ich stehe für Beratungen zur Verfügung. wenn du Hilfe brauchst, damit deine Figuren natürlicher aussehen.
Wie lernt man FACS am besten? Es gibt eine Menge Informationen. Gibt es irgendwelche Strategien oder Techniken, um sie effizienter zu lernen?
Am besten unterteilt man das Gesicht in einzelne Bereiche, z. B. Augenbrauen, Augen, mittlerer Gesichtsbereich, unterer Gesichtsbereich. Achten Sie darauf, dass Sie jeden Bereich gleich beim ersten Mal richtig lernen. Diese Website wurde genau zu diesem Zweck erstellt. Sobald Sie die Grundlagen von FACS verstanden haben, müssen Sie Geduld haben. Mit der Zeit werden Sie alles verstehen, wenn Sie weiterhin genau hinschauen.
Ich beschäftige mich seit über 13 Jahren mit dem Gesicht und bin immer noch von einigen Dingen verwirrt. Selbst Anatomen haben Schwierigkeiten, sich in bestimmten Fragen der Klassifizierung und Einteilung der Gesichtsmuskeln zu einigen. Denken Sie daran, wenn Sie das nächste Mal frustriert oder überfordert sind!
Emotionen, Verhalten und Kultur
Wie hilft uns FACS, echte menschliche Emotionen zu erkennen?
FACS hilft uns, die Mimik aufzuschlüsseln und genau zu bestimmen, welche Muskeln benutzt werden; es hilft uns, Muster zu erkennen und festzustellen, was im Gesicht zu verschiedenen Zeiten und in verschiedenen Situationen vor sich geht.
Gibt es ein Gleichgewicht zwischen der Aufschlüsselung der Dinge in der Kunst und der einfachen Handhabung, um Gefühle auszudrücken?
Viele gängige Gesichtsausdrücke von Emotionen haben dieselben Gesichtshandlungen; es kommt also auf das Projekt an. In manchen Fällen ist es umständlich und einschränkend, Dinge als Emotionssätze zusammenzufassen. In anderen Fällen kann es hilfreich sein.
Gibt es kulturelle Unterschiede bei FACS? Es muss Unterschiede in der Mimik und der Darstellung von Emotionen geben.
FACS ist ein System, das muskelbasierte Gesichtsbewegungen beschreibt. Obwohl wir alle Unterschiede in Form, Größe, Anwesenheit, Konfiguration und Stärke der Gesichtsmuskeln haben - Ihre Muskeln ändern sich nicht aufgrund Ihrer Kultur - variieren jedoch die Gesichtsaktionen, mit denen Sie sich ausdrücken, und diese Variationen können mit FACS gemessen werden. Die Fähigkeit, Muster und Unterschiede im Gesichtsverhalten zu erkennen, ist der Grund, warum FACS überhaupt entwickelt wurde!
Anatomie
Kannst du erklären, wie die Gesichtsmuskeln bestimmte Ausdrücke erzeugen? Sind die Muskeln alle mit den Knochen verbunden, oder sind einige mit anderen Muskeln oder Faszien verbunden? Was sind einige der komplexeren Muskelinteraktionen?
Ja, ich könnte tagelang darüber sprechen und auf dieser Website mehrere Beiträge zu diesem Thema verfassen. Nein, nicht alle Gesichtsmuskeln sind mit den Knochen verbunden. Manche schon, manche nicht. Es gibt eine Menge Variationen in Bezug auf die Art und Weise, wie die Gesichtsmuskeln miteinander verbunden sind. Da die Variation der Gesichtsmuskeln eines meiner bevorzugten Forschungsthemen ist, habe ich eine ganze Bibliothek von Informationen über die Vielfalt der Gesichtsmuskeln zusammengestellt; aufgrund des hohen Zeitaufwands, den ich für den Erwerb dieser Forschungsergebnisse aufwenden musste, behalte ich mir jedoch vor, meine Erkenntnisse für Vorlesungen für Fortgeschrittene oder Kunden. Davon abgesehen habe ich vor, einen Spickzettel zu erstellen, auf dem die Lage und der Ansatz jedes Gesichtsmuskels hinter jeder Gesichtsbewegung dargestellt sind. Hoffentlich hilft das weiter 🙂 !
FACS ist ein recht gut dokumentiertes System, das auf Muskeln aufbaut, aber es ist schwer, Informationen über die Schichten über den Muskeln zu finden. Haben Sie einen Ratschlag, wie wir mehr über Dinge wie Fettpolster im Gesicht und gleitende oder hängende Haut erfahren können?
Amen dazu! Es gibt definitiv einen Mangel an zugänglichen Ressourcen zu den von Ihnen beschriebenen Themen. Ich bin ein Fan des Ästhetik-Experten Tim Pearce. Er hat einige großartige Gesichts-Fettabbau auf seinem YouTube-Kanal Kanal. Es gibt auch viele gute Artikel zum Thema Anatomie. Mit Beobachtungsgabe und der Dokumentation eigener Beispiele kann man nichts falsch machen. Wenn Sie sich Diagramme zur Gesichtsanatomie ansehen, denken Sie immer daran, dass es sich um vereinfachte Darstellungen von Dingen handelt, die sehr variabel sind. Deshalb kann es äußerst hilfreich sein, Menschen in ihrer natürlichen Umgebung zu beobachten und Forschungsartikel zu lesen.
Animation
Müssen Sie bei der Erstellung von FACS für die Gesichtsanimation von Personen für jede Identität einen eigenen Satz von FACS erstellen, um die Natürlichkeit zu maximieren?
Wenn Ihre Charaktere eher realistisch sind, kann es sehr effektiv sein, Variationsoptionen für Ausdrucksformen zu erstellen. Zum Beispiel:, Unsere Stirnen falten sich alle unterschiedlich, wenn wir die Augenbrauen hochziehen.. Obwohl alle vollständigen Augenbrauenhebungen sowohl eine innere als auch eine äußere Augenbrauenhebung umfassen, hat die Art und Weise, wie die innere und äußere Augenbrauenhebung auf jedem Gesicht zum Ausdruck kommt, einzigartige Merkmale. Es gibt eine Reihe von Möglichkeiten, diese Unterschiede zu kategorisieren und zu gruppieren, um Vielfalt und Optionen zu schaffen. Ich habe in der Vergangenheit bereits mit Studios zusammengearbeitet, um solche Lösungen zu entwickeln, und würde mich freuen, dies erneut zu tun. Sie können mir gerne ein Projekt unter facetheFACS@melindaozel.com vorstellen.
Wie sieht der typische Prozess für die Animation des 3D-Gesichts nach der Erstellung einer FACS-Karte aus? Kann man von einem Video einer sprechenden Person -> Extraktion einer dichten Karte von Gesichtsmerkmalen -> 3D-animiertes Gesicht ausgehen?
Als Nicht-Animator kann ich nicht sagen, wie der typische Prozess aussieht; ich kann jedoch sagen, dass automatisierte Versuche, Sprache aus Videos von sprechenden Menschen nachzubilden, immer nuancierte - aber sehr zuverlässige - Fehler bei den verschiedenen für die Sprache erforderlichen Lippenformationen aufweisen.
Was sind die häufigsten Fehler, die Animationsteams machen, wenn sie ein FACS-artiges Rig in eine digitale Human-Pipeline einführen?
Das größte Problem sind ungenaue FACS-Formen. Andere große Probleme sind: 1. die Nichtberücksichtigung der sekundären und tertiären Bewegungen einer Form - z. B. wenn die Bewegung zu isoliert und steif ist, 2. die Aufteilung einer grundlegenden Bewegung, um den Animatoren mehr Kontrolle zu geben - wobei die Animatoren dann nicht daran denken, die Teile später bei der Steuerung der Mimik wieder zusammenzufügen. Zu den subtileren Problemen gehören Unstimmigkeiten zwischen Falten und Bewegung, Bewegung auf der Oberfläche ohne Berücksichtigung von Tiefenänderungen usw.
Gibt es irgendetwas "Überraschendes", das Sie in Ihren Studien entdeckt haben und von dem Sie sich wünschen würden, dass es mehr Animateure kennen würden? Gibt es irgendwelche FACS-Prinzipien, die Ihrer Meinung nach von neuen Animateuren übersehen werden?
Ich entdecke immer wieder überraschende Dinge! Was die Entdeckungen angeht, von denen ich wünschte, dass mehr Animatoren sie kennen würden - ich wünschte, die Animatoren würden die Grundprinzipien der Gesichtsbewegung kennen. Es ist ein großes Hindernis, wenn ein Animator die Grundlagen der Gesichtsmechanik nicht kennt und seine Bedürfnisse nicht effektiv an andere Abteilungen wie das Rigging weitergeben kann.
Gibt es "Unteraktionseinheiten" oder kleinere Aktionseinheiten, die von den Animateuren definiert wurden, um die Dinge weiter zu untergliedern?
Es gibt viele skizzenhafte "Sub"-Aktionseinheiten, die aus Gründen der Benutzerfreundlichkeit entwickelt wurden. Ich sage "skizzenhaft", denn wenn diese Untereinheiten nicht gut durchdacht sind und mit Bedacht eingesetzt werden, können sie zu unnatürlichen Gesichtsbewegungen führen.
Ich bin sicher, dass es legitime Gliederungen gibt, die der Anatomie entsprechen. Ich musste meine eigene Liste von Unteraktionseinheiten aufschlüsseln, um Sprachbewegungen besser definieren zu können. Einige Animatoren haben sich an mich gewandt und mir gesagt, dass sie dieselben Bewegungen aufgeschlüsselt haben, um eine realistische Sprache zu erzeugen. Eine der wichtigsten Sub-Action-Units, die ich zu meinen FACS-Ressourcen hinzugefügt habe, ist eine Form, die ich "vertikaler Lippenspanner" nenne. Sie können sie googeln oder auf meiner Website suchen FACS-Spickzettel um mehr zu erfahren.
Takelage
Erstellen die meisten Rigger FACS-Rigs mit Blend Shapes oder Joints?
Diejenigen, mit denen ich gearbeitet habe, verwenden meist Mischformen. Blend Shapes liefern qualitativ hochwertigere Ergebnisse, können aber kostspielig und sperrig sein. Gelenke sind billiger, sehen aber auch billiger aus.
Ich bin mir nicht sicher, wie ich die Frage genau formulieren soll... Wenn man bedenkt, dass der Sinn eines Control Rigs darin besteht, komplexe Bewegungen zu vereinfachen, damit ein Animator schnell und effizient arbeiten kann (andernfalls würden wir nur Verts animieren) - FACS scheint den Schwerpunkt darauf zu legen, die Dinge in ihre einzelnen Muskelgruppen zu zerlegen (anatomische Ebene). Wie können Animatoren Ihrer Meinung nach komplexe Muskelgruppen präzise, aber auch "bequem" steuern?
Zweckmäßige Formkombinationen müssen von Fall zu Fall festgelegt werden. Es kommt auf den Kontext an - z. B. Charakterdesign, Verhalten des Charakters, gewünschtes Publikum usw. Ich würde gerne mit einem Rigger zusammenarbeiten, um Tools zu entwickeln, die Animatoren bei der Erstellung komplexer Formen für bestimmte Szenarien unterstützen können.
Ich habe an einer Episode von Marvel's "What If?" an einer Figur gearbeitet, die nur 5 Formen auf dem Gesichts-Rig hatte. Glauben Sie, dass es eine Stilisierung gibt, die mit weniger FACS auskommt, um eine Vielzahl von Emotionen zu vermitteln?
Erstaunlich, dass es nur 5 Formen auf dem Face Rig gab! Das relativiert so manches. Ich denke, dass die Stilisierung mit weniger FACS-Formen auskommen kann. Das hängt von der jeweiligen Figur ab. Emojis haben zum Beispiel keine Nasen, so dass ein paar Formen wegfallen. Wenn Sie Hello Kitty animieren wollten, müssten Sie sich nicht um die Mund- oder Augenbrauenformen kümmern. Bei einigen stilisierten Menschen könnten Sie eine Handvoll Formen entfernen, die anderen Formen ähnlich genug sind. Auch hier gilt: Es kommt darauf an!
Was sind eurer Meinung nach die 3-5 wichtigsten und nützlichsten AUs, um einen grundlegenden Charakter (vielleicht so etwas wie eine kleine Sammlung von Steinen) zu bauen, der sich ausdrückt/emotiviert/"spricht"?
LOL. Ein Stein? Wenn es nur ums Sprechen geht: ein paar Augenbrauenausdrücke und ein paar einfache Mundbewegungen. Damit ich Ihnen mehr sagen kann, müssten Sie ein Kunde!
Wie sieht der empfohlene Arbeitsablauf für die Arbeit mit FACS-Rigs aus?
Erstellen Sie Checklisten. Halten Sie Dokumentationen bereit. Es gibt so viele Ausdrücke und Optionen, dass man leicht etwas vergisst bzw. sich die gleichen Bewegungen wiederholen.
Welche Hauptausdrücke (AUs) würden Sie verwenden, wenn Sie ein möglichst optimiertes System für Mischformen entwickeln wollten (z. B. wenn Sie ein Spiel mit sehr begrenzten Ressourcen haben). Wie stark könnten Sie dieses System in seiner grundlegendsten Form abschwächen?
Kommt auf das Spiel an. Worum geht es in dem Spiel? Wie sehen die Charaktere aus? Was soll das Publikum fühlen und erleben?
Modellierung
Wie verhält sich FACS zu Mischformen? Und sind Aktionseinheiten für Spiele leistungsfreundlich?
Blend-Formen basieren in der Regel auf FACS-Formen oder einer Kombination aus verschiedenen FACS-Formen. Viele Spielehersteller verwenden FACS für ihre Technik und Animation. Sie können Controller einrichten, die Aktionseinheiten darstellen.
Gibt es irgendwelche Besonderheiten bei der Verwendung von FACS, wenn man eine stilisierte und dennoch realistische Figur wie Alita aus Alita Battle Angel kreiert?
Das ist klar. Jedes Mal, wenn man die Strukturen des Gesichts verändert, ist es eine Herausforderung, die Bewegungen zu übersetzen und wichtige Orientierungspunkte im Gesicht zu verschieben.
Welcher FaceBuilder-Modellierer hat die genauesten FACS-Darstellungen? Ich bin mit Character Creator und FaceBuilder vertraut.
Zurzeit behalte ich mir vor, Tools nach Bedarf für Kunden zu evaluieren. Wenn Sie mit mir zusammenarbeiten möchten, können Sie sich gerne an mich wenden: facetheFACS@melindaozel.com
VFX
In der Welt der Animation/VFX arbeiten wir oft mit vernarbten/entstellten Figuren. Haben Sie sich mit Verletzungen befasst und wie sich diese auf FACS auswirken können?
Ich habe mich mit einer Reihe von Verletzungen und Erkrankungen befasst, die sich auf die Mimik auswirken. Bislang habe ich mich vor allem mit der sogenannten Globusluxation beschäftigt – einer Erkrankung, bei der die Augen deutlich aus den Augenhöhlen hervortreten (also quasi aus dem Gesicht springen). Sie kann durch eine Schilddrüsenerkrankung oder ein Schädeltrauma verursacht werden. Es gibt noch so viele andere interessante Fälle zu untersuchen. Ich gehe einen Tag nach dem anderen an! Wenn Sie bestimmte Arten von Narben oder Verletzungen sehen möchten, schreiben Sie mir eine E-Mail an facetheFACS@melindaozel.com.
Haben Sie irgendwelche Tipps, um "unheimliche" Gefühle bei sprechenden Tieren zu vermeiden, z. B. wie man anthropomorphe Bewegungen anwendet, ohne seltsame Gefühle zu erzeugen? Zum Beispiel der Unterschied zwischen den Filmen Planet der Affen und König der Löwen?
Wenn ein Löwe genau so aussieht wie ein Löwe, aber spricht und singen Genau wie bei einem Menschen wird es seltsam sein. Man kann nicht viel dagegen tun, außer Kompromisse beim Realismus einzugehen. Persönlich würde ich mir wünschen, dass der Trend, frühere Animationsklassiker in fotorealistische Remakes zu verwandeln, aufhört. Abgesehen von meinen persönlichen Gefühlen gibt es, wenn ich meine Arbeitsmütze aufsetze, eine Reihe von Tricks und Kompromissen, mit denen man die Unheimlichkeit verringern kann – aber ich glaube nicht, dass man sie vollständig beseitigen kann. Was Planet betrifft, ist es viel einfacher, Tiere mit ähnlichen Fähigkeiten wie Menschen zu vermenschlichen.
Gibt es bestimmte menschliche FACS-Formen / Posen, die die VFX-Industrie Ihrer Meinung nach bei fotorealen Charakteren nur schwer erreichen kann?
Am auffälligsten finde ich, dass die Wangen höher und die Nase faltiger sind; es gibt viele andere subtile Formen, die ebenfalls verbessert werden könnten.
Technologie
Wie vergleichen Sie FACS mit dem, was beim Deep Learning gemacht wird?
Die meisten Unternehmen, die sich mit der Erfassung von Gesichtern und Emotionen beschäftigen, nutzen FACS für das maschinelle Lernen. Sie verwenden FACS, um ihre Datenpipelines abzubilden. Sie sammeln Daten mit FACS-basierten Ausdrücken. Sie trainieren ihre Maschinen mit FACS-basierter Klassifizierung, usw. Selbst wenn Sie keinen FACS-basierten Ansatz verwenden, benötigen Sie FACS, um Fehler zu identifizieren und zu kommunizieren, damit Sie den Datenbedarf zur Verbesserung der Technologie einschätzen können.
Gibt es bestehende FACS-Datensätze, die wir zum Trainieren eines maschinellen Lernmodells mit Gesicht und Sprache verwenden könnten?
Nach dem, was ich bei meiner Arbeit in der Technik im Bereich der Gesichtserkennung gesehen habe, sind die meisten Datensätze mit unsauberen Daten gespickt. Sie müssten in der Lage sein, die Daten zu prüfen und eine Menge Müll zu bereinigen. Wenn Sie über die nötigen Ressourcen verfügen, empfiehlt es sich, interne Datenerfassungs- und Kennzeichnungssysteme zu entwickeln. Wenn Sie Ihre eigenen Datenteams aufbauen wollen, lesen Sie bitte Voreingenommenheit bei der Emotionserfassung.
Können Sie eine Anwendung empfehlen, die FACS zuverlässig extrahiert? Können Sie eine Anwendung für die FACS-Extraktion empfehlen?
Wenn Sie mit einer Anwendung, die FACS extrahiert, einen automatischen FACS-Detektor/Tracker meinen, würde ich nein sagen. Ich empfehle keine der Anwendungen ausdrücklich. Einige Anwendungen können sehr einfache, hochintensive Ausdrücke erkennen, aber sie versagen oft bei der Erkennung subtiler oder vielschichtiger Ausdrücke. Ich denke, wir sind noch weit entfernt von etwas, das wirklich robust ist, vor allem aufgrund der Nachlässigkeit der meisten führenden Technologieunternehmen in Bezug auf Daten. Mehr lesen hier und hier.
iPhones haben 52 Ausdrücke, ist das genug für eine gute Animation? Wenn nicht, wie kann man ein iPhone verwenden, um weitere FACS-Formen hinzuzufügen?
Möchten Sie einen halb-stilisierten bis stark stilisierten Charakter mit grundlegenden Bewegungen erstellen? Wenn ja, könnte das in Ordnung sein. Wenn Sie eher fotorealistische und ausdrucksstarke Charaktere erstellen möchten, werden Sie damit nicht die gewünschte Qualität erreichen. Da ich eher auf der Seite der Beobachtung und Kritik stehe, kann ich Ihnen nicht sagen, wie Sie mehr FACS-Formen hinzufügen können. Ich stehe Ihnen jedoch gerne für eine Beratung zur Verfügung, wenn Sie mir mitteilen möchten, welche Anforderungen Sie an Ihre Charaktere haben, was Sie in Bezug auf Ausdruckskraft erreichen möchten und welche Formen Sie möglicherweise hinzufügen müssen, um das gewünschte Ergebnis zu erzielen: facetheFACS@melindaozel.com
3D-Live-Avatare haben Hochkonjunktur, aber es fehlen ihnen viele Gesichtsausdrücke. Wie können wir Ihrer Meinung nach digitale menschliche Darbietungen in Echtzeit verbessern?
Es gibt zwei Teile:
1. Die Technik. Die Technik der Gesichtserkennung ist noch nicht ganz da, wo wir sie haben wollen. Erfolgreiche Live-Avatare können durch die Harmonisierung der Technik mit der Kunst erreicht werden. Es müssen umfangreiche Untersuchungen und Beobachtungen durchgeführt werden, um zu beurteilen, wie die Tracking-Technologie auf verschiedene Gesichter reagiert. Außerdem müssen die Ziele der Avatare evaluiert werden. Welche Gesichtsausdrücke sind je nach Kontext vorrangig? Je nach den Situationen, in denen die Avatare eingesetzt werden, haben verschiedene Gesichtsausdrücke unterschiedliche Priorität.
2. Die Kunst. Auch wenn die Technik noch nicht da ist, wo wir sie haben wollen, kann man viel davon durch Kunst vortäuschen. Man kann es durch die Kunst vortäuschen, wenn man eine klare Vorstellung davon hat, was bei der Technologie nicht funktioniert und was man bei den Avatarausdrücken priorisieren möchte. Als ich bei Meta war, habe ich mich intensiv mit den Daten beschäftigt und untersucht, wie die Technologie bei verschiedenen Gesichtern funktioniert. Da ich in der Lage war, diese Unzulänglichkeiten zu erkennen, konnte ich effektiv mit einem Modellierer zusammenarbeiten, um wiederkehrende Probleme durch die künstlerische Seite zu überdecken. Die meisten erfolgreich aussehenden Avatare werden dadurch erreicht, dass die Kunst die technischen Probleme überdeckt.
Wie können unterschiedliche Akzente von FACS unterstützt werden und wie wirken sich unterschiedliche Aussprachen auf die Mimik/Bewegungen von stilisierten Figuren aus?
Die kleinsten sinnvollen Lauteinheiten in einer gesprochenen Sprache werden Phoneme genannt. Verschiedene Sprachen bestehen aus unterschiedlichen Phonemgruppen. In der Kunst und der Sprachtechnologie werden Phoneme danach gruppiert, wie sie aussehen, wenn sie produziert werden. Mit anderen Worten: Phoneme werden auf der Grundlage der allgemeinen Formen, die unsere Münder bei ihrer Produktion bilden, in Gruppen zusammengefasst. Diese visuell gruppierten Phoneme werden bezeichnet als visemes. Ein Beispiel für unterschiedliche Phoneme, die ein einziges Visem bilden, sind die bilabialen Laute: B, M und P. Obwohl B, M und P unterschiedliche Phoneme sind, nehmen unsere Lippen bei der Produktion dieser Laute im Wesentlichen die gleiche Form an. Die Produktion von B, M und P sieht gleich aus; daher bilden B, M und P ein einziges Visem. FACS-Formen können verwendet werden, um ein Visem grob darzustellen, obwohl feinere Details fehlen können (wird am Ende dieser Antwort besprochen).
Akzente entstehen, wenn verschiedene Phoneme auf dasselbe Wort angewendet werden. Nehmen wir zum Beispiel das Wort "Auto". Die amerikanische englische Version spricht das "a" in car anders aus als die britische englische Version; daher verwendet das amerikanische Englisch ein anderes Phonem.
Obwohl "Auto" im amerikanischen und im britischen Englisch das gleiche Wort mit der gleichen Bedeutung ist, setzt sich seine Aussprache aus verschiedenen Phonemen zusammen, je nachdem, welches Englisch verwendet wird.
Wenn FACS-Formen verwendet werden, um das Skelett eines Visems zu erstellen, und ein Wort, das mit verschiedenen Akzenten ausgesprochen wird, aus verschiedenen Phonemen besteht, dann besteht dieses Wort oft auch aus verschiedenen Visemen. Die unterschiedliche Visem-Formel bedeutet, dass unterschiedliche FACS-Formen auf dieselben Wörter mit unterschiedlichen Akzenten angewendet werden können. Diese Aufschlüsselung bedeutet, dass es sehr wichtig ist, die Sprachlaute und phonemischen Optionen von Wörtern zu berücksichtigen - und nicht die Buchstaben, aus denen die Wörter selbst bestehen.
Die Hauptprobleme bei FACS und Sprache ergeben sich aus Phonemen, die außerhalb der Mechanik des Gesichtsausdrucks erzeugt werden – z. B. Kehlkopfsprachen. Darüber hinaus weist FACS im Allgemeinen einige Lücken in Bezug auf Sprachformen auf – selbst für amerikanisches Englisch. Aufgrund dieser Lücke habe ich Unteraktions-Einheiten wie “vertikale Lippenstraffung” und “Y-Achsen-Dimpler” definiert. (Siehe FACS-Spickzettel für Details).
Meine Arbeit
Machen Sie Gesichtsübungen? Wenn ja - wie oft?
Ich übe fast jeden Tag. Je nachdem, welchen Bereich des Gesichts ich gerade untersuche, ändert sich das, was ich übe. Ich durchlaufe nicht jeden Tag die gesamte Palette der FACS-Aktionen, aber ich trainiere auf jeden Fall immer einen Gesichtsmuskel!
Wie läuft das Verfahren für eine Portfolioprüfung ab?
Sehen Sie sich meine Überprüfung des Portfolios Seite 😀.
Haben Sie bei den MetaHumans von Epic eine Rolle gespielt?
Das habe ich getan! Ich habe mit einigen ihrer Teams an der Verbesserung des Rigs durch Gesichtsanatomie-Training und Beratung gearbeitet. Die Ergebnisse sollten sichtbar sein, wenn eine spätere Version des Produkts herauskommt.
Fallen Ihnen spontan Filme oder Videospiele ein, an denen Sie mitgewirkt haben und auf die Sie besonders stolz sind?
Ja! Ich bin sehr stolz darauf, an zwei bahnbrechenden, KI-unterstützten Filmveröffentlichungen mitgewirkt zu haben. Ich habe an der Verjüngung von Tom Hanks, Robin Wright und Paul Bettany in Robert Zemickis' Hier, und ich habe an der Lippensynchronisationstechnologie für Beobachte den Himmel. Ich war auch stolz darauf, am Emoji-Design für Meta mitzuarbeiten, einem Produkt, das über eine Milliarde Menschen nutzen!
Gibt es Projekte, die Sie mehr ansprechen als andere (dramatisch/komödiantisch, stilisiert/photorealistisch, VR/2D)?
Als Beraterin genieße ich sowohl stilisierte als auch fotorealistische Projekte. Sie haben jeweils ihre eigenen Herausforderungen. Dasselbe gilt für Drama und Komödie! Als Betrachter mag ich Komödien und stilisierte Projekte mehr.
Verschiedenes
Wie würden Sie die Mimik von Zombies darstellen?
Ich würde die Gesichtsausdrücke der Zombies auf die funktionalen Bewegungen beschränken, die für das Essen und den Angriff erforderlich sind, da sie in der klassischen Zombieliteratur in erster Linie genau das tun! Kiefer und Mund wären die Priorität. Sie können auch ändern, wie diese Bewegungen funktionieren, basierend auf verschiedenen Ebenen der Verschlechterung.
Als Porträtfotograf frage ich mich, wie FACS in meine Arbeit passen würde. Wäre es nützlich, ein Fotoshooting im Voraus zu planen oder die endgültigen Bilder zu analysieren, um zu sehen, welches die gewünschte Emotion am besten vermittelt? Würde FACS die Ehrlichkeit nehmen?
Als Fotograf würde ich nicht sagen, dass man ein FACS-Meister sein muss, aber ein Auge für steife / unechte / unangenehme Ausdrücke zu haben, kann nützlich sein, vor allem, wenn man (1) entscheidet, welche Aufnahmen man für seine Kunden auswählt und (2) seinen Modellen hilft, entspannter auszusehen.
Ich habe früher für Porträtfotografen Modell gestanden, und mit einem guten Gesichtsbewusstsein konnte ich besser posieren. Ich habe zum Beispiel gemerkt, dass wenn ich eine Pose zu lange halte, zusätzliche Muskeln aktiviert werden, die ich nicht in meiner Aufnahme haben möchte. Daher habe ich darauf geachtet, dass ich eine gute Kommunikation mit meinem Fotografen hatte und wusste, wann er die Aufnahme machen konnte. Wenn ich wusste, wann sie die Aufnahme machen würden, konnte ich die Pose zum richtigen Zeitpunkt einnehmen und den Ausdruck natürlicher wirken lassen. Außerdem konnte ich nervöse Gesichtsausdrücke reduzieren, indem ich mein Gesicht entspannte, wenn ich spürte, dass es sich anspannte.
Ähnliches könnte auch auf Seiten des Fotografen getan werden. Wenn Sie von Natur aus nicht in der Lage sind, die Mimik und Stimmung von Menschen zu lesen, kann FACS besonders hilfreich sein. Ich habe mit vielen Fotografen zusammengearbeitet, die kein natürliches Auge dafür hatten, Unbehagen in Posen zu erkennen, und sie hätten sicherlich einige technische FACS-Kenntnisse gebrauchen können.