¿Cómo se compara el FACS con lo que se hace en el aprendizaje profundo?

La mayoría de las empresas de seguimiento de rostros y emociones confían en FACS para el aprendizaje automático. Utilizan FACS para trazar sus conductos de datos. Recogen datos con expresiones basadas en FACS. Entrenan a sus máquinas con la clasificación basada en FACS, etc. Incluso si no se utiliza un enfoque basado en FACS, todavía se necesita FACS para identificar y comunicar las áreas de fracaso con el fin de evaluar las necesidades de datos para mejorar la tecnología.

¿Existen conjuntos de datos FACS que podamos utilizar para entrenar un modelo de aprendizaje automático con la cara y el habla?

Por lo que he visto trabajando en tecnología en el seguimiento de rostros, la mayoría de los conjuntos de datos están plagados de datos impuros. Tendrías que ser capaz de escudriñar los datos y limpiar un montón de basura. Si se cuenta con los recursos necesarios, se recomienda crear sistemas internos de recogida y etiquetado de datos. Si está creando sus propios equipos de datos, lea Sesgo en el seguimiento de las emociones.

¿Me recomiendan alguna aplicación que extraiga FACS de forma robusta? ¿Puedes recomendar alguna aplicación para la extracción de FACS?

Si por aplicación que extrae FACS te refieres a - un detector / rastreador automatizado de FACS - yo diría que no. No recomiendo ninguna aplicación. Algunas aplicaciones pueden detectar expresiones muy simples y de alta intensidad; sin embargo, suelen fallar en la detección de expresiones sutiles o en capas. Creo que estamos muy lejos de algo que sea realmente robusto, especialmente debido a la negligencia de datos de la mayoría de las empresas tecnológicas líderes. Leer más aquí y aquí.

El iPhone tiene 52 expresiones, ¿es suficiente para una buena animación? Si no es así, ¿cómo se utiliza un iPhone para añadir más formas FACS?

¿Va a ser un personaje entre semiestilizado y muy estilizado con movimientos básicos? Si es así, podría estar bien. Si vas a buscar personajes más fotorrealistas y expresivos, no te va a servir para alcanzar el nivel de calidad que vas a necesitar. Como alguien que está más en el lado de la observación y la crítica de las cosas, yo no podía decir cómo hacer añadir más formas FACS, sin embargo, estoy disponible para la consulta si usted quiere decirme lo que necesita para sus personajes / lo que quiere lograr en términos de expresividad / lo que las formas que puede ser necesario añadir para conseguir lo que quieres: facetheFACS@melindaozel.com

Estamos teniendo un boom de avatares 3D en vivo, pero les faltan muchas expresiones faciales. Cómo cree que podemos mejorar las actuaciones humanas digitales en tiempo real?

Esto tiene dos partes:

1. La tecnología. La tecnología de seguimiento facial no está del todo donde queremos que esté. El éxito de los avatares en vivo puede lograrse armonizando la tecnología con el arte. Hay que investigar y observar a fondo para evaluar cómo responde la tecnología de seguimiento a los distintos rostros. Además, hay que evaluar los objetivos de los avatares. En función del contexto, ¿qué expresiones son prioritarias? Dependiendo de las situaciones en las que se utilicen los avatares, las distintas expresiones tendrán diferentes niveles de prioridad.

2. El arte. Aunque la tecnología no esté donde queremos que esté, se puede fingir mucho a través del arte. Se puede fingir a través del arte una vez que se tiene una idea clara de lo que no funciona en la tecnología y de lo que se quiere priorizar para las expresiones de los avatares. Cuando estaba en Meta, trabajé intensamente con los datos y estudié cómo funcionaba la tecnología en diferentes rostros. Ser capaz de identificar esas deficiencias me permitió trabajar eficazmente con un modelador para enmascarar los problemas recurrentes a través de la parte artística. La mayoría de los avatares de buen aspecto se consiguen gracias a que el arte enmascara los problemas de la tecnología.

¿Cómo se pueden admitir diferentes acentos en FACS y cómo afectan las diferentes pronunciaciones a las expresiones faciales y los movimientos de los personajes estilizados?

Las unidades sonoras más pequeñas de una lengua hablada se llaman fonemas. Las distintas lenguas se componen de diferentes conjuntos de fonemas. En el arte y la técnica del habla, los fonemas se agrupan por su aspecto cuando se producen. En otras palabras, los fonemas se agrupan en función de las formas generales que adopta nuestra boca para producirlos. Estos fonemas agrupados visualmente se denominan visemes. Un ejemplo de fonemas distintos que forman un único visema son los sonidos bilabiales: B, M y P. Aunque B, M y P son fonemas distintos, cuando producimos esos sonidos, nuestros labios adoptan esencialmente la misma configuración. La producción de B, M y P tiene el mismo aspecto; por lo tanto, B, M y P constituyen un único visema. Las formas FACS pueden utilizarse para representar groseramente un visema, aunque pueden faltar detalles más finos (que se discutirán al final de esta respuesta).

Los acentos surgen cuando se aplican diferentes fonemas a la misma palabra. Por ejemplo, consideremos la palabra "car". La versión inglesa americana pronuncia la "a" de car de forma diferente a la versión inglesa británica; por lo tanto, el inglés americano utiliza un fonema diferente Además, la versión inglesa americana pronuncia la "r" mientras que la versión inglesa británica no lo hace. 

Aunque "car" es la misma palabra con el mismo significado tanto en inglés americano como en inglés británico, su pronunciación se compone de diferentes fonemas según el inglés que se utilice.

Si las formas FACS se utilizan para crear el esqueleto de un visema, y una palabra pronunciada con diferentes acentos está formada por diferentes fonemas, entonces esa palabra también suele estar formada por diferentes visemas. La variación de la fórmula del visema significa que se pueden aplicar diferentes formas FACS a las mismas palabras bajo diferentes acentos. Este desglose significa que es muy importante tener en cuenta los sonidos del habla y las opciones fonémicas de las palabras, no las letras que las componen.

Los principales problemas con FACS y el habla vendrán de los fonemas producidos fuera de la mecánica de la expresión facial - por ejemplo, las lenguas guturales. Además, el FACS en general, tiene algunos eslabones perdidos cuando se trata de las formas del habla - incluso para el inglés americano. Esta deficiencia es la razón por la que he definido sub unidades de acción como "apretador de labios vertical" y "atenuador del eje Z". (Véase FACS Hoja de Trampas para más detalles).