Les réponses à vos questions sur les expressions faciales et le FACS !
Ce qui suit est un mélange de questions fréquentes et peu fréquentes concernant le Facial Action Coding System (FACS) et les expressions faciales. Les réponses s'adressent principalement aux animateurs, modélistes, riggers et autres artistes, ainsi qu'aux chercheurs et ingénieurs travaillant sur les technologies de suivi du visage et les humains numériques. Comme il y a beaucoup de texte, il est recommandé de naviguer par section ou d'utiliser Ctrl+F pour rechercher des mots clés.
Notions de base sur le FACS
Qu'est-ce que le FACS (Facial Action Coding System) ?
FACS, ou Facial Action Coding System, est un système de classification conçu pour nommer et décrire les mouvements visibles du visage humain. Le FACS étant basé sur l'anatomie et documenté de manière très détaillée, il nous permet de décomposer les expressions faciales complexes de manière objective et standardisée.
L'explication complète sera bientôt publiée !
Conseils d'apprentissage et d'étude
Où recommandez-vous aux débutants d'étudier le FACS ?
Cela dépend. Si vous êtes artiste, vous pouvez étudier les FACS sur ce site web, mon Fiche d'escroquerie FACS, le manuel FACS ou mon Session de bachotage FACS; Cependant, vous risquez de ne pas en avoir pour votre argent avec le manuel officiel FACS, à moins que vous ne soyez prêt à investir du temps et de l'argent ($350) pour venir à bout des 500 pages d'un ouvrage rédigé dans un langage technique et destiné à un public différent. Le manuel ne contiendra pas autant d'informations pertinentes pour les artistes., car il est spécialement conçu pour enseigner aux utilisateurs comment coder les mouvements faciaux à l'aide de méthodes de recherche structurées.
Si vous êtes dans le milieu universitaire ou technique et que vous cherchez à faire de la recherche comportementale, étudiez officiellement la FACS à travers le Manuel FACS et complétez les visuels manquants avec mon site web, Fiche d'escroquerie FACS, ou mon Session de bachotage FACS. Pour les chercheurs universitaires, Erika Rosenberg organise des ateliers pour les aspirants codeurs faciaux.
La FACS semble très compliquée. Par où et comment les étudiants comme moi doivent-ils commencer ?
Le FACS peut sembler compliqué, mais le visage réel l'est encore plus. J'ai créé Faire face au FACSLe manuel de la FACS peut être dense, et il n'existe pas de ressources accessibles (ou de qualité). Comme mentionné ci-dessus, vous pouvez profiter des ressources sur mon site web, à la fois gratuit et payé. Vous pouvez également suivre mes sociaux pour plus de références gratuites, de conseils et de posts informatifs (Instagram : @manicexpression / Twitter : @melindaozel / LinkedIn).
Existe-t-il une bible des FACS ? Où puis-je trouver les références des différentes UA (unités d'action) de FACS ?
La véritable bible du FACS est le manuel FACS, mais j'enrichis constamment ma collection. Fiche d'escroquerie FACS! Cette feuille est conçue pour présenter les AUs de base. J'ai des formes combinées disponibles pour Membres Premiumet je publie souvent des références gratuites sur tous mes comptes sociaux (Instagram : @manicexpression / Twitter : @melindaozel / LinkedIn). Pour demander des combinaisons d'UA spécifiques, remplissez le formulaire au bas de cette page.
Avez-vous des astuces pour aider les artistes à ne pas se sentir dépassés par les événements ? Faire face au FACS langage ? Les artistes plus verts trouvent qu'ils se laissent rapidement emporter par le déclenchement de trop de formes à la fois, ce qui peut aboutir à une contre-animation.
Commencez par des sections du visage. Commencez par les sourcils - ce sont les plus faciles. Faites attention aux noms des FACS ; ils peuvent sembler effrayants au début, mais une fois que vous avez compris que leurs noms donnent la définition de leurs mouvements, ils deviennent vos amis ! Par exemple - Que signifie "l'élévateur de sourcils interne" ? Cela signifie que la partie intérieure de votre sourcil est en train de se soulever ! Étudiez l'anatomie de base ainsi que le FACS. Pratiquez l'exécution des formes sur votre propre visage. Commencez à observer les mouvements dans la vie réelle et lorsque vous regardez des films / émissions / vidéos sur les médias sociaux. Gardez les mouvements de la bouche pour la fin.
Quant à l'idée de déclencher trop de formes à la fois, une connaissance de base de l'anatomie faciale et du FACS vous permettra d'étudier les mouvements et les combinaisons courants dans le monde naturel. Les observations du monde réel vous aideront à guider votre stratégie pour savoir quoi déclencher et quand.
Quelles sont vos ressources / tutoriels préférés pour devenir compétent en FACS ?
J'ai créé Faire face au FACS, car les ressources extérieures au manuel officiel FACS contiennent presque toujours des informations et des références inexactes. Le manuel lui-même peut également être vague concernant certaines expressions faciales. Il m'a fallu des années d'auto-apprentissage et d'observation pour vraiment comprendre des expressions telles que “ resserrement des lèvres ”, “ creusement des sillons nasogéniens ”, “ compression des narines ”, etc. L'objectif de ce site web est de minimiser la confusion autour du FACS et de lutter contre les fausses informations relatives aux expressions faciales.
J'ai acquis une maîtrise suffisante du FACS grâce au manuel FACS et aux mentors que j'ai eus pendant mon stage au Zurich Interaction and Expression Laboratory : Willibald Ruch, Tracey Platt et Jennifer Hofmann. À partir de là, tout ce que j'ai appris, je l'ai appris par l'expérience, la pratique et l'observation du monde réel.
Pour les ressources d'anatomie destinées aux débutants, je recommande :
- Visage de l'homme et langage mimique par Carl-Herman Hjortsjö. Ce livre gratuit et téléchargeable est une ressource précieuse pour les artistes qui souhaitent comprendre à la fois le FACS et l'anatomie faciale. Hjortsjö est en quelque sorte le père fondateur du FACS. Sans ses contributions à l'étude de l'anatomie et des mouvements faciaux, le FACS ne serait qu'une fraction de ce qu'il est aujourd'hui. Une grande partie du FACS est inspirée des travaux de Hjortsjö, bien que celui-ci ne soit pas suffisamment reconnu pour cela.
- Anatomie humaine pour les artistes : Les éléments de la forme par Eliot Goldfinger. J'adore la façon dont ce livre décompose les muscles faciaux de manière efficace mais simpliste. C'est le livre le plus clair et le plus précis que j'ai rencontré, et il reconnaît réellement la diversité des muscles faciaux. Pour des ressources d'anatomie plus poussées, vous devrez aller à la chasse aux documents de recherche !
Y a-t-il des ressources que vous pourriez recommander pour trouver de bonnes références faciales ? Nous construisons une IA conversationnelle. Je travaille sur l'animation, l'expression et les mouvements du corps. Nous faisons surtout notre travail manuellement et nos personnages ont souvent l'air peu naturels.
Mon Fiche d'escroquerie FACS et ensemble du site sont pleins de références pour les expressions de base, les émotions, et discours. Je suis disponible pour des consultations. si vous voulez de l'aide pour rendre vos personnages plus naturels.
Quelle est la meilleure approche pour apprendre les FACS, il y a beaucoup d'informations. Existe-t-il des stratégies ou des techniques pour les apprendre plus efficacement ?
La meilleure approche consiste à diviser le visage en plusieurs sections, par exemple les sourcils, les yeux, le milieu du visage et le bas du visage. Assurez-vous d'apprendre correctement chaque section dès le début. Ce site web a été conçu précisément dans ce but. Une fois que vous aurez acquis les bases du FACS, vous devrez faire preuve de patience. En observant attentivement, vous finirez par comprendre le fonctionnement de ce système.
J'étudie le visage depuis plus de 13 ans et certaines choses me laissent encore perplexe. Même les anatomistes ont du mal à s'accorder sur certaines questions concernant la classification et la répartition des muscles faciaux ; alors souvenez-vous-en la prochaine fois que vous vous sentirez frustré ou dépassé !
Émotions, comportement et culture
Comment le FACS nous aide-t-il à reconnaître les émotions humaines réelles ?
FACS nous aide à décomposer les expressions faciales et à identifier les muscles qui sont utilisés ; il nous aide à reconnaître les modèles et à identifier ce qui se passe sur le visage à différents moments et dans différentes situations.
Y a-t-il un équilibre entre la décomposition des choses dans l'art et la facilité d'utilisation pour exprimer une émotion ?
Beaucoup d'expressions faciales d'émotion communes partagent les mêmes actions faciales ; cela dépend donc du projet. Dans certains cas, regrouper les choses en tant qu'ensembles d'émotions finira par être maladroit et limitatif. Dans d'autres cas, cela peut être utile.
Existe-t-il des différences culturelles dans le FACS ? Il doit y avoir des différences dans les expressions et la présentation des émotions.
FACS est un système qui décrit les mouvements du visage basés sur les muscles. Bien que nous ayons tous des différences dans la forme, la taille, la présence, la configuration et la force des muscles faciaux - vos muscles ne changent pas en fonction de votre culture ; cependant, les actions faciales que vous utilisez pour vous exprimer varient, et ces variations peuvent être mesurées par FACS. La capacité d'identifier les modèles et les différences dans le comportement facial est la raison pour laquelle FACS a été développé en premier lieu !
Anatomie
Pouvez-vous parler de la façon dont les muscles du visage produisent certaines expressions ? Les muscles sont-ils tous reliés à l'os, ou certains sont-ils reliés à d'autres muscles ou aux fascias ? Quelles sont les interactions musculaires les plus complexes ?
Oui, je pourrais en parler pendant des jours et avoir plusieurs articles sur ce sujet sur ce site. Non, tous les muscles faciaux ne sont pas reliés aux os. Certains le sont, d'autres non. Il existe une grande variété de connexions entre les muscles faciaux. Comme la variation des muscles faciaux est l'un de mes sujets de recherche préférés, j'ai compilé une bibliothèque d'informations sur la diversité faciale ; cependant, en raison du temps intensif passé à acquérir ce corpus de recherche, je réserve mes conclusions à conférences ou clients de niveau avancé. Cela dit, je prévois de créer une fiche récapitulative présentant l'origine et l'insertion de chaque muscle facial derrière chaque action faciale. J'espère que cela vous aidera 🙂 !
Le FACS est un système assez bien documenté, construit autour des muscles, mais il est difficile de trouver des informations sur les couches situées au-dessus des muscles. Avez-vous des conseils sur la façon dont nous pouvons en apprendre davantage sur des choses comme les coussinets adipeux du visage et le glissement ou l'affaissement de la peau ?
Amen à cela ! Il y a clairement un manque de ressources accessibles sur les sujets que vous avez décrits. Je suis fan du praticien en esthétique Tim Pearce. Il a d'excellentes décomposition des graisses faciales sur sa chaîne YouTube channel. Il existe également de nombreux articles intéressants sur l'anatomie. Vous ne pouvez jamais vous tromper en vous appuyant sur votre pouvoir d'observation et en documentant vos propres exemples. Lorsque vous consultez des schémas d'anatomie faciale, gardez toujours à l'esprit qu'il s'agit de représentations simplifiées de choses qui présentent une grande variabilité ; c'est pourquoi il peut être extrêmement bénéfique d'observer les gens dans leur milieu naturel et de lire des articles de recherche.
Animation
Lorsque vous réalisez des FACS pour l'animation faciale de sujets, devez-vous créer un ensemble personnalisé de FACS pour chaque identité afin de maximiser le naturel ?
Si vos personnages sont plutôt réalistes, il peut être très efficace de créer des options de variation pour les formes d'expression. Par exemple, nos fronts se plissent tous différemment lorsque nous levons les sourcils. Bien que toutes les levées complètes des sourcils impliquent une levée interne et une levée externe, la manière dont ces deux mouvements s'expriment sur chaque visage présente des caractéristiques uniques. Il existe plusieurs façons de classer et de regrouper ces différences afin de créer de la variété et des options. J'ai déjà travaillé avec des studios pour mettre au point de telles solutions et je serais ravi de renouveler cette expérience. N'hésitez pas à me soumettre vos projets à l'adresse facetheFACS@melindaozel.com.
Quel est le processus typique pour animer le visage en 3D après avoir obtenu une carte FACS ? Pouvez-vous partir d'une vidéo d'une personne qui parle -> extraire une carte dense des points de repère du visage -> animer le visage en 3D ?
En tant que non-animateur, je ne suis pas en mesure de répondre à la question de savoir quel est le processus typique ; cependant, je peux dire que les tentatives automatisées de recréer la parole à partir de vidéos de personnes qui parlent présentent toujours des erreurs nuancées - mais très fiables - pour les différentes formations des lèvres nécessaires à la parole.
Quelles sont les erreurs courantes que les équipes d'animation commettent lorsqu'elles adoptent un rig de style FACS dans un pipeline numérique humain ?
Le fait d'avoir des formes FACS inexactes est le plus gros problème. D'autres problèmes importants sont : 1. le fait de ne pas tenir compte des mouvements secondaires et tertiaires d'une forme - par exemple en gardant le mouvement trop isolé et rigide, 2. le fait de décomposer un mouvement de base pour donner aux animateurs plus de contrôle - puis les animateurs ne se souviennent pas de recombiner les morceaux plus tard lors de la conduite des expressions. Parmi les problèmes plus subtils, citons l'inadéquation entre les rides et les mouvements, les mouvements de surface qui ne tiennent pas compte des changements de profondeur, etc.
Y a-t-il quelque chose de "surprenant" que vous avez découvert dans vos études et dont vous aimeriez que plus d'animateurs soient au courant ? Y a-t-il des principes FACS qui, selon vous, sont négligés par les nouveaux animateurs ?
Je découvre des choses surprenantes tout le temps ! En ce qui concerne les découvertes que j'aimerais que plus d'animateurs connaissent, j'aimerais que les animateurs connaissent les principes de base du mouvement facial. C'est un énorme obstacle lorsqu'un animateur ne connaît pas la mécanique faciale de base et ne peut pas communiquer efficacement ses besoins à d'autres départements, comme le rigging.
Existe-t-il des "sous-unités" d'action ou des unités d'action plus petites qui ont été définies par les animateurs pour décomposer davantage les choses ?
Il existe de nombreuses "sous-unités" d'action peu précises qui sont conçues pour être plus faciles à utiliser. Je dis "sommaires", car si ces sous-unités ne sont pas bien pensées et utilisées avec précaution, elles peuvent entraîner des mouvements faciaux peu naturels.
Quant aux décompositions légitimes conformes à l'anatomie, je suis sûr qu'elles existent. J'ai dû décomposer ma propre liste de sous-unités d'action pour mieux définir les mouvements de la parole. Des animateurs m'ont contacté pour me dire qu'ils avaient décomposé les mêmes mouvements pour créer un discours réaliste. L'une des sous-unités d'action essentielles que j'ai ajoutée à mes ressources FACS est une forme que j'appelle "resserrement vertical des lèvres". Vous pouvez la chercher sur Google ou sur mon site Fiche d'escroquerie FACS pour en savoir plus.
Gréement
Est-ce que la plupart des gréeurs créent des gréements FACS en utilisant des formes de mélange ou des joints ?
Ceux avec lesquels j'ai travaillé utilisent principalement des formes de mélange. Les formes mixtes donnent des résultats de meilleure qualité mais peuvent être coûteuses et encombrantes. Les joints sont moins chers mais aussi moins esthétiques.
Je ne sais pas exactement comment formuler ma question... Tout en gardant à l'esprit que le but d'un rig de contrôle est de simplifier les mouvements complexes afin qu'un animateur puisse travailler rapidement et efficacement (sinon nous ne ferions qu'animer des verts) - FACS semble mettre l'accent sur la décomposition des choses en groupes de muscles individuels (niveau anatomique). Comment pensez-vous que les animateurs peuvent contrôler des groupes de muscles complexes avec précision mais aussi de manière "pratique" ?
Les combinaisons de formes pratiques devront être faites au cas par cas. Cela dépend du contexte - comme la conception du personnage, son comportement, le public visé, etc. J'aimerais beaucoup travailler avec un rigger pour créer des outils qui puissent aider les animateurs à construire des formes complexes pour des scénarios spécifiques.
J'ai travaillé sur un épisode de "What If ?" de Marvel sur un personnage qui n'avait que 5 formes sur le rig du visage. Pensez-vous qu'il existe une stylisation qui peut s'en sortir avec moins de FACS pour transmettre une variété d'émotions ?
C'est incroyable qu'il n'y ait eu que 5 formes sur la plateforme faciale ! Cela met beaucoup de choses en perspective. Je pense que la stylisation peut s'en sortir avec moins de formes FACS. Cela dépend du personnage. Par exemple, les Emojis n'ont pas de nez, ce qui élimine quelques formes. Si vous vouliez animer Hello Kitty, vous n'auriez pas à vous soucier des formes de la bouche ou des sourcils. Pour certains humains stylisés, vous pourriez supprimer une poignée de formes qui ressemblent suffisamment à d'autres formes. Encore une fois, cela dépend !
Quelles sont, selon vous, les 3-5 UA les plus importantes et les plus utiles pour construire un personnage fondamental (peut-être quelque chose comme une petite collection de pierres) pour s'exprimer / émouvoir / " parler " ?
LOL. Une pierre ? Si c'est juste pour parler : quelques expressions de sourcils et quelques mouvements simples de la bouche. Pour que je puisse vous en dire plus, il faudrait que vous soyez une client!
Quel est le flux de travail recommandé pour travailler avec les appareils FACS ?
Faites des listes de contrôle. Ayez de la documentation à portée de main. Il existe tellement d'expressions et d'options qu'il peut être facile d'oublier des choses ou de devenir répétitif avec les mêmes mouvements.
Quelles expressions principales (AUs) utiliseriez-vous si vous vouliez faire le système de forme de mélange le plus optimisé (par exemple, si vous avez un jeu avec des ressources très limitées). Dans quelle mesure pourriez-vous atténuer ce système dans sa forme la plus basique ?
Ça dépend du jeu. Quel est le sujet du jeu ? À quoi ressemblent les personnages ? Que voulez-vous que votre public ressente et expérimente ?
Modélisation
Quel est le rapport entre FACS et les formes de mélange ? Et les unités d'action sont-elles adaptées aux performances des jeux ?
Les formes de mélange sont généralement basées sur des formes FACS ou une combinaison de diverses formes FACS. De nombreuses sociétés de jeux utilisent FACS pour leur technologie et leur animation. Vous pouvez configurer des contrôleurs qui représentent des unités d'action.
Y a-t-il des nuances dans l'utilisation de FACS lors de la création d'un personnage stylisé mais réaliste comme Alita d'Alita Battle Angel ?
Bien sûr. Chaque fois que l'on modifie les structures du visage, la traduction des mouvements et la migration des repères faciaux importants posent problème.
Quel modeleur de construction de visage a les représentations FACS les plus précises ? Je connais Character Creator et FaceBuilder.
Aujourd'hui, je réserve les outils d'évaluation aux clients qui en ont besoin. N'hésitez pas à me contacter si vous souhaitez travailler ensemble : facetheFACS@melindaozel.com.
VFX
Dans le monde de l'animation / VFX, nous travaillons souvent sur des personnages cicatrisés / défigurés. Avez-vous étudié des cas de blessures et comment celles-ci peuvent affecter le FACS ?
J'ai étudié un certain nombre de blessures et de maladies qui affectent les expressions faciales. Jusqu'à présent, la plupart de mes recherches ont porté sur ce qu'on appelle la luxation du globe oculaire, une affection qui fait que les yeux peuvent sortir de leurs orbites (c'est-à-dire sortir du visage). Elle peut être causée par une maladie thyroïdienne ou un traumatisme crânien. Il y a tellement d'autres cas intéressants à étudier. Je prends les choses au jour le jour ! Si vous souhaitez voir des types spécifiques de cicatrices ou de blessures, envoyez-moi un e-mail à l'adresse facetheFACS@melindaozel.com.
Avez-vous des conseils pour éviter les sentiments "étranges" sur les animaux parlants, par exemple comment appliquer des mouvements anthropomorphiques sans créer de sentiments étranges ? Par exemple, la différence entre les films La Planète des singes et Le Roi Lion ?
Si vous faites en sorte qu'un lion ressemble exactement à un lion mais parle et chanter exactement comme un humain, cela va paraître bizarre. On ne peut pas faire grand-chose à part faire des compromis sur le réalisme. Personnellement, j'aimerais que la tendance à reproduire d'anciens classiques animés sous forme de remakes photoréalistes cesse. Mis à part mes sentiments personnels, si je me mets dans ma casquette de professionnel, il existe un certain nombre d'astuces et de compromis qui peuvent être faits pour atténuer l'effet étrange, mais je ne pense pas qu'il soit possible de s'en débarrasser complètement. Quant à Planet, il est beaucoup plus facile d'anthropomorphiser des animaux ayant des capacités similaires à celles des humains.
Y a-t-il des formes ou des poses humaines FACS particulières que l'industrie des effets visuels a du mal à atteindre dans les personnages photoréels ?
Les plus notables que je vois sont le relèvement des joues et le plissement du nez ; il y a beaucoup d'autres formes subtiles qui pourraient être améliorées aussi.
Technologie
Comment comparez-vous FACS à ce qui est fait dans l'apprentissage profond ?
La plupart des entreprises de suivi des visages et des émotions s'appuient sur FACS pour l'apprentissage automatique. Elles utilisent FACS pour cartographier leurs pipelines de données. Elles collectent des données avec des expressions basées sur FACS. Elles entraînent leurs machines avec une classification basée sur FACS, etc. Même si vous n'utilisez pas une approche basée sur FACS, vous avez toujours besoin de FACS pour identifier et communiquer les zones d'échec afin d'évaluer les besoins en données pour améliorer la technologie.
Existe-t-il des ensembles de données FACS existants que nous pourrions utiliser pour entraîner un modèle d'apprentissage automatique avec le visage et la parole ?
D'après ce que j'ai vu en travaillant dans la technologie sur le suivi des visages, la plupart des ensembles de données sont criblés de données impures. Vous devez être capable d'examiner les données et de nettoyer beaucoup de déchets. Si vous disposez des ressources nécessaires, il est recommandé de créer des systèmes internes de collecte et d'étiquetage des données. Si vous mettez en place vos propres équipes de données, lisez ce qui suit Biais dans le suivi des émotions.
Recommandez-vous des applications qui extraient les FACS de manière robuste ? Pouvez-vous recommander une application pour l'extraction de FACS ?
Si par application qui extrait les FACS vous voulez dire - un détecteur / traqueur automatique de FACS - je dirais non. Je ne recommande fortement aucune application. Certaines applications peuvent détecter des expressions très simples et de forte intensité, mais elles échouent souvent à détecter les expressions subtiles ou stratifiées. Je pense que nous sommes encore loin de quelque chose de réellement robuste, notamment en raison de la négligence de la plupart des grandes entreprises technologiques en matière de données. Lire la suite ici et ici.
Les iPhones ont 52 expressions, est-ce suffisant pour une bonne animation ? Si non, comment utiliser un iPhone pour ajouter plus de formes FACS ?
Vous souhaitez créer un personnage semi-stylisé à très stylisé avec des mouvements basiques ? Si c'est le cas, cela pourrait convenir. Si vous souhaitez créer des personnages plus photoréalistes et expressifs, cela ne vous permettra pas d'atteindre le niveau de qualité dont vous avez besoin. En tant que personne plutôt portée sur l'observation et la critique, je ne saurais vous dire comment ajouter davantage de formes FACS ; cependant, je suis disponible pour vous conseiller si vous souhaitez me faire part de vos besoins pour vos personnages, de ce que vous souhaitez accomplir en termes d'expressivité et des formes que vous pourriez avoir besoin d'ajouter pour obtenir le résultat souhaité : facetheFACS@melindaozel.com
Nous assistons à un boom des avatars 3D en direct, mais il leur manque beaucoup d'expressions faciales. Comment pensez-vous que nous pouvons améliorer les performances humaines numériques en temps réel ?
Il y a deux parties à cela :
1. La technologie. La technologie de suivi des visages n'est pas encore tout à fait au point où elle devrait être. Des avatars vivants réussis peuvent être réalisés en harmonisant la technologie avec l'art. Des recherches et des observations approfondies doivent être menées pour évaluer comment la technologie de suivi du visage réagit à différents visages. En outre, les objectifs des avatars doivent être évalués. En fonction du contexte, quelles expressions sont prioritaires ? En fonction des situations dans lesquelles les avatars sont utilisés, les différentes expressions auront des niveaux de priorité différents.
2. L'art. Même si la technologie n'est pas là où nous le voudrions, vous pouvez en simuler une grande partie grâce à l'art. Cela peut être fait une fois que vous avez une idée claire de ce qui ne fonctionne pas dans la technologie et de ce que vous voulez privilégier pour les expressions de votre avatar. Quand j'étais à Meta, j'ai travaillé intensément avec les données et j'ai étudié comment la technologie fonctionnait sur différents visages. Le fait de pouvoir identifier ces déficiences m'a permis de travailler efficacement avec un modeleur pour masquer les problèmes récurrents du côté artistique. Les avatars les plus réussis sont obtenus en masquant les problèmes techniques par l'art.
Comment les différents accents peuvent-ils être pris en charge par FACS, et comment les différentes prononciations influencent-elles les expressions faciales / les mouvements des personnages stylisés ?
Les plus petites unités sonores significatives d'une langue parlée sont appelées phonèmes. Les différentes langues sont composées de différents ensembles de phonèmes. En art et en technologie de la parole, les phonèmes sont regroupés en fonction de leur apparence lorsqu'ils sont produits. En d'autres termes, les phonèmes sont regroupés en fonction de la forme générale que prend notre bouche pour les produire. Ces phonèmes regroupés visuellement sont appelés visemes. Les sons bilabiaux sont un exemple de phonèmes distincts qui forment un seul et même visème : B, M et P. Bien que B, M et P soient des phonèmes distincts, lorsque nous produisons ces sons, nos lèvres prennent essentiellement la même configuration. La production de B, M et P a la même apparence ; par conséquent, B, M et P constituent un seul et même visème. Les formes FACS peuvent être utilisées pour représenter grossièrement un visème, bien que des détails plus fins puissent manquer (discuté à la fin de cette réponse).
Les accents apparaissent lorsque différents phonèmes sont appliqués au même mot. Par exemple, prenons le mot "car". La version anglaise américaine prononce le "a" de car différemment de la version anglaise britannique ; par conséquent, l'anglais américain utilise un phonème différent. De plus, la version anglaise américaine prononce le "r" alors que la version anglaise britannique ne le fait pas.
Bien que "car" soit le même mot avec le même sens en anglais américain et britannique, sa prononciation est composée de phonèmes différents selon l'anglais utilisé.
Si les formes FACS sont utilisées pour créer le squelette d'un visème, et qu'un mot prononcé avec différents accents est composé de différents phonèmes, alors ce mot est aussi souvent composé de différents visèmes. La formule de visème variable signifie que différentes formes de FACS peuvent être appliquées aux mêmes mots sous différents accents. Cette décomposition signifie qu'il est très important de considérer les sons de la parole et les options phonémiques des mots - et non les lettres qui composent les mots eux-mêmes.
Les principaux problèmes liés au FACS et à la parole proviennent des phonèmes produits en dehors des mécanismes d'expression faciale, par exemple dans les langues gutturales. De plus, le FACS présente généralement quelques lacunes en matière de formes vocales, même pour l'anglais américain. C'est pour pallier cette lacune que j'ai défini des sous-unités d'action telles que “ resserrement vertical des lèvres ” et “ fossette sur l'axe y ”. (Voir Fiche d'escroquerie FACS pour plus de détails).
Mon travail
Pratiquez-vous des exercices faciaux ? Si oui, à quelle fréquence ?
Je m'entraîne presque tous les jours. Selon la zone du visage que j'étudie à ce moment-là, ce que je pratique change. Je ne passe pas par toute la gamme des actions FACS tous les jours, mais je suis toujours en train de faire travailler un muscle du visage !
Quelle est la procédure à suivre pour obtenir un examen de portefeuille ?
Regardez mon Examen du portefeuille page 😀
Avez-vous joué un rôle dans les MetaHumans d'Epic ?
Je l'ai fait ! J'ai travaillé avec certaines de leurs équipes pour améliorer le rig par le biais d'une formation et d'un conseil en anatomie faciale. Les résultats devraient être visibles dès la sortie d'une version ultérieure du produit.
De mémoire, y a-t-il des films ou des jeux vidéo pour lesquels vous avez été consultant et dont vous êtes particulièrement fier ?
Oui ! Je suis très fier d'avoir participé à deux films fondamentaux réalisés à l'aide de l'IA. J'ai travaillé sur le rajeunissement de Tom Hanks, Robin Wright et Paul Bettany dans le film de Robert Zemickis Ici, et j'ai travaillé sur la technologie de synchronisation labiale pour Surveillez le ciel. J'étais également fier de travailler sur la conception d'émojis pour Meta, un produit utilisé par plus d'un milliard de personnes !
Y a-t-il des projets qui vous parlent plus que d'autres (dramatique/comique, stylisé/photoréaliste, VR/2D) ?
En tant que consultant, j'aime les projets stylisés et photoréels. Ils ont chacun leurs propres défis. Idem pour les drames et les comédies ! En tant que spectateur, j'aime davantage la comédie et le stylisé.
Divers
Comment aborderiez-vous les expressions faciales des zombies ?
Je réserverais les expressions faciales des zombies aux mouvements fonctionnels nécessaires pour manger et attaquer, puisque dans la littérature zombie classique, c'est principalement ce qu'ils font ! La mâchoire et la bouche seraient la priorité. Vous pouvez également modifier le fonctionnement de ces mouvements en fonction des différents niveaux de détérioration.
En tant que photographe de portrait, je me demande comment FACS pourrait s'intégrer dans mon travail. Serait-il utile de planifier une séance de photos ou d'analyser les images finales pour voir lesquelles transmettent le mieux l'émotion recherchée ? Est-ce que FACS enlèverait de l'honnêteté ?
En tant que photographe, je ne dirais pas qu'il faut être un maître de la FACS, mais avoir un œil sur les expressions raides / fausses / inconfortables peut être utile, notamment pour (1) décider des prises de vue à sélectionner pour vos clients et (2) aider vos modèles à paraître plus détendus.
J'étais mannequin pour des photographes portraitistes et une bonne conscience du visage me permettait de mieux poser. Par exemple, je me suis rendu compte que le fait de tenir une pose trop longtemps activait d'autres muscles que je ne voulais pas voir sur ma photo ; je m'assurais donc d'avoir une bonne communication avec mon photographe et de savoir quand il pouvait prendre la photo. Le fait de savoir quand il allait prendre la photo m'a permis de prendre la pose au bon moment et de rendre l'expression plus naturelle. J'ai également pu réduire les expressions nerveuses en détendant mon visage lorsque je le sentais se crisper.
Des mesures similaires pourraient être prises du côté du photographe. Si vous n'êtes pas naturellement doué pour lire les expressions / humeurs des gens, le FACS peut être particulièrement bénéfique. J'ai travaillé avec de nombreux photographes qui n'avaient pas l'œil naturel pour repérer le malaise dans les poses, et ils auraient sûrement pu utiliser quelques connaissances techniques de FACS.