Comment comparez-vous FACS à ce qui est fait dans l'apprentissage profond ?

La plupart des entreprises de suivi des visages et des émotions s'appuient sur FACS pour l'apprentissage automatique. Elles utilisent FACS pour cartographier leurs pipelines de données. Elles collectent des données avec des expressions basées sur FACS. Elles entraînent leurs machines avec une classification basée sur FACS, etc. Même si vous n'utilisez pas une approche basée sur FACS, vous avez toujours besoin de FACS pour identifier et communiquer les zones d'échec afin d'évaluer les besoins en données pour améliorer la technologie.

Existe-t-il des ensembles de données FACS existants que nous pourrions utiliser pour entraîner un modèle d'apprentissage automatique avec le visage et la parole ?

D'après ce que j'ai vu en travaillant dans la technologie sur le suivi des visages, la plupart des ensembles de données sont criblés de données impures. Vous devez être capable d'examiner les données et de nettoyer beaucoup de déchets. Si vous disposez des ressources nécessaires, il est recommandé de créer des systèmes internes de collecte et d'étiquetage des données. Si vous mettez en place vos propres équipes de données, lisez ce qui suit Biais dans le suivi des émotions.

Recommandez-vous des applications qui extraient les FACS de manière robuste ? Pouvez-vous recommander une application pour l'extraction de FACS ?

Si par application qui extrait les FACS vous voulez dire - un détecteur / traqueur automatique de FACS - je dirais non. Je ne recommande fortement aucune application. Certaines applications peuvent détecter des expressions très simples et de forte intensité, mais elles échouent souvent à détecter les expressions subtiles ou stratifiées. Je pense que nous sommes encore loin de quelque chose de réellement robuste, notamment en raison de la négligence de la plupart des grandes entreprises technologiques en matière de données. Lire la suite ici et ici.

Les iPhones ont 52 expressions, est-ce suffisant pour une bonne animation ? Si non, comment utiliser un iPhone pour ajouter plus de formes FACS ?

Voulez-vous un personnage semi-stylisé à très stylisé avec des mouvements de base ? Si c'est le cas, cela peut convenir. Si vous recherchez des personnages plus photoréalistes et expressifs, cela ne vous permettra pas d'atteindre le niveau de qualité dont vous avez besoin. En tant que personne qui est plus sur l'observation et la critique des choses, je ne pourrais pas vous dire comment faire pour ajouter plus de formes FACS ; cependant, je suis disponible pour une consultation si vous souhaitez me dire quels besoins vous avez pour vos personnages / ce que vous voulez accomplir en termes d'expressivité / quelles formes vous pourriez avoir besoin d'ajouter pour obtenir ce que vous voulez : facetheFACS@melindaozel.com.

Nous assistons à un boom des avatars 3D en direct, mais il leur manque beaucoup d'expressions faciales. Comment pensez-vous que nous pouvons améliorer les performances humaines numériques en temps réel ?

Il y a deux parties à cela :

1. La technologie. La technologie de suivi des visages n'est pas encore tout à fait au point où elle devrait être. Des avatars vivants réussis peuvent être réalisés en harmonisant la technologie avec l'art. Des recherches et des observations approfondies doivent être menées pour évaluer comment la technologie de suivi du visage réagit à différents visages. En outre, les objectifs des avatars doivent être évalués. En fonction du contexte, quelles expressions sont prioritaires ? En fonction des situations dans lesquelles les avatars sont utilisés, les différentes expressions auront des niveaux de priorité différents.

2. L'art. Même si la technologie n'est pas là où nous le voudrions, vous pouvez en simuler une grande partie grâce à l'art. Cela peut être fait une fois que vous avez une idée claire de ce qui ne fonctionne pas dans la technologie et de ce que vous voulez privilégier pour les expressions de votre avatar. Quand j'étais à Meta, j'ai travaillé intensément avec les données et j'ai étudié comment la technologie fonctionnait sur différents visages. Le fait de pouvoir identifier ces déficiences m'a permis de travailler efficacement avec un modeleur pour masquer les problèmes récurrents du côté artistique. Les avatars les plus réussis sont obtenus en masquant les problèmes techniques par l'art.

Comment les différents accents peuvent-ils être pris en charge par FACS, et comment les différentes prononciations influencent-elles les expressions faciales / les mouvements des personnages stylisés ?

Les plus petites unités sonores significatives d'une langue parlée sont appelées phonèmes. Les différentes langues sont composées de différents ensembles de phonèmes. En art et en technologie de la parole, les phonèmes sont regroupés en fonction de leur apparence lorsqu'ils sont produits. En d'autres termes, les phonèmes sont regroupés en fonction de la forme générale que prend notre bouche pour les produire. Ces phonèmes regroupés visuellement sont appelés visemes. Les sons bilabiaux sont un exemple de phonèmes distincts qui forment un seul et même visème : B, M et P. Bien que B, M et P soient des phonèmes distincts, lorsque nous produisons ces sons, nos lèvres prennent essentiellement la même configuration. La production de B, M et P a la même apparence ; par conséquent, B, M et P constituent un seul et même visème. Les formes FACS peuvent être utilisées pour représenter grossièrement un visème, bien que des détails plus fins puissent manquer (discuté à la fin de cette réponse).

Les accents apparaissent lorsque différents phonèmes sont appliqués au même mot. Par exemple, prenons le mot "car". La version anglaise américaine prononce le "a" de car différemment de la version anglaise britannique ; par conséquent, l'anglais américain utilise un phonème différent. De plus, la version anglaise américaine prononce le "r" alors que la version anglaise britannique ne le fait pas. 

Bien que "car" soit le même mot avec le même sens en anglais américain et britannique, sa prononciation est composée de phonèmes différents selon l'anglais utilisé.

Si les formes FACS sont utilisées pour créer le squelette d'un visème, et qu'un mot prononcé avec différents accents est composé de différents phonèmes, alors ce mot est aussi souvent composé de différents visèmes. La formule de visème variable signifie que différentes formes de FACS peuvent être appliquées aux mêmes mots sous différents accents. Cette décomposition signifie qu'il est très important de considérer les sons de la parole et les options phonémiques des mots - et non les lettres qui composent les mots eux-mêmes.

Les principaux problèmes avec FACS et la parole viendront des phonèmes produits en dehors de la mécanique des expressions faciales - par exemple les langues gutturales. En outre, FACS en général, a quelques liens manquants quand il s'agit de formes de la parole - même pour l'anglais américain. Cette lacune est la raison pour laquelle j'ai défini des sous-unités d'action comme "le resserrement vertical des lèvres" et "l'atténuateur de l'axe Z". (Voir Fiche d'escroquerie FACS pour plus de détails).