Como você compara o FACS com o que é feito no aprendizado profundo?

A maioria das empresas de rastreamento de rostos e de emoções confiam na FACS para o aprendizado de máquinas. Elas usam o FACS para mapear seus dutos de dados. Elas coletam dados com expressões baseadas em FACS. Elas treinam suas máquinas com a classificação baseada em FACS, etc. Mesmo que você não use uma abordagem baseada em FACS, você ainda precisa de FACS para identificar e comunicar áreas de falha, a fim de avaliar as necessidades de dados para melhorar a tecnologia.

Existe algum conjunto de dados FACS que poderíamos usar para treinar um modelo de aprendizagem de máquinas com rosto e fala?

Pelo que vi trabalhando em tecnologia de rastreamento de rosto, a maioria dos conjuntos de dados está repleta de dados impuros. Você precisaria ser capaz de escrutinar os dados e limpar muito lixo. Se você tiver os recursos, é recomendável criar sistemas internos de coleta de dados e etiquetagem. Se você estiver criando suas próprias equipes de dados, por favor leia Viés no Rastreamento de Emoção.

Você recomenda alguma aplicação que extraia FACS de forma robusta? Você pode recomendar algum aplicativo para extração de FACS?

Se por aplicação que extrai FACS você quer dizer - um detector / rastreador automático de FACS - eu diria não. Eu não recomendo fortemente nenhuma aplicação. Algumas aplicações podem detectar expressões muito simples e de alta intensidade; no entanto, muitas vezes falham na detecção de expressões sutis ou estratificadas. Acho que estamos muito longe de algo realmente robusto, especialmente devido à negligência de dados da maioria das principais empresas de tecnologia. Leia mais aqui e aqui.

iPhones tem 52 expressões, isso é suficiente para uma boa animação? Se não, como usar um iPhone para adicionar mais formas FACS?

Você vai para um personagem semi-estilizado a muito estilizado com movimentos básicos? Se sim, pode ser bom. Se você estiver optando por caracteres mais fotorreais e expressivos, não vai conseguir atingir o nível de qualidade que você vai precisar. Como alguém mais observador e crítico das coisas, eu não poderia lhe dizer como fazer para adicionar mais formas FACS; no entanto, estou disponível para consulta se você quiser me dizer o que precisa para seus personagens / o que você quer realizar em termos de expressividade / que formas você pode precisar adicionar para obter o que você quer: facetheFACS@melindaozel.com

Estamos tendo um boom de avatares 3D ao vivo, mas estão faltando muitas expressões faciais. Como você acha que podemos melhorar o desempenho humano digital em tempo real?

Isto tem duas partes:

1. A tecnologia. A tecnologia de rastreamento facial não está totalmente onde queremos que esteja. Avatares ao vivo bem sucedidos podem ser feitos harmonizando a tecnologia com a arte. Uma pesquisa e observação extensiva precisa ser feita para avaliar como a tecnologia de rastreamento responde às diferentes faces. Além disso, os objetivos dos avatares precisam ser avaliados. Com base no contexto, que expressões são prioritárias? Dependendo das situações para as quais os avatares estão sendo usados, diferentes expressões terão diferentes níveis de prioridade.

2. A arte. Mesmo que a tecnologia não esteja onde queremos que esteja, é possível falsificá-la muito através da arte. Falsificá-lo através da arte pode ser feito uma vez que você tenha uma idéia clara do que não está funcionando na tecnologia e do que você quer priorizar para suas expressões avatares. Quando eu estava na Meta, trabalhei intensamente com os dados e estudei como a tecnologia atuava em diferentes faces. Ser capaz de identificar essas deficiências me permitiu trabalhar efetivamente com um modelador para mascarar problemas recorrentes através do lado da arte. Os avatares de aparência mais bem sucedida são alcançados por questões técnicas de mascaramento de arte.

Como diferentes acentos podem ser suportados pela FACS, e como diferentes pronúncias impactam as expressões / movimentos faciais para caracteres estilizados?

As menores unidades significativas de som em uma língua falada são chamadas fonemas. Diferentes idiomas são compostos por diferentes conjuntos de fonemas. Na arte e na tecnologia da fala, os fonemas são agrupados pela sua aparência quando são produzidos. Em outras palavras, os fonemas são agrupados com base nas formas gerais que nossas bocas formam para produzi-los. Estes fonemas agrupados visualmente são referidos como visemes. Um exemplo de fonemas distintos que formam uma única viseira são os sons bilabiais: B, M, e P. Embora B, M, e P sejam fonemas distintos, quando produzimos esses sons, nossos lábios assumem essencialmente a mesma configuração. A produção de B, M, e P parece a mesma; portanto, B, M, e P formam uma única face. As formas FACS podem ser usadas para representar grosseiramente uma viseira, embora possam faltar detalhes mais finos (discutidos no final desta resposta).

Os sotaques surgem quando diferentes fonemas são aplicados à mesma palavra. Por exemplo, considere a palavra "carro". A versão inglesa americana pronuncia o "a" no carro de forma diferente da versão inglesa britânica; portanto, o inglês americano usa um fonema diferente Além disso, a versão inglesa americana pronuncia o "r" enquanto que a versão inglesa britânica não pronuncia. 

Embora "carro" seja a mesma palavra com o mesmo significado em inglês americano e britânico, sua pronúncia é composta por diferentes fonemas, dependendo do inglês que está sendo usado.

Se as formas FACS são usadas para criar o esqueleto de uma viseira, e uma palavra pronunciada com acentos diferentes é composta de diferentes fonemas, então essa palavra também é frequentemente composta de diferentes viseiras. A fórmula variável de viseme significa que diferentes formas de FACS podem ser aplicadas às mesmas palavras sob acentos diferentes. Esta quebra significa que é muito importante considerar os sons da fala e as opções fonêmicas das palavras - não as letras que compõem as palavras em si.

As principais questões com FACS e discurso virão de fonemas produzidos fora da mecânica de expressão facial - por exemplo, línguas guturais. Além disso, a FACS, em geral, tem alguns elos em falta quando se trata de formas de expressão - mesmo para o inglês americano. Esta deficiência é o motivo pelo qual defini unidades de subação como "aperto vertical dos lábios" e "dimpler do eixo Z". (Veja FACS Folha de fraude para maiores detalhes).