ARKit para FACS: Folha de dicas do Blendshape

ARKit para FACS Cheat Sheet

Bem-vindo à Folha de dicas do ARKit para FACS! Aqui você encontrará detalhes de como traduzir os formatos de rosto do ARKit para seus equivalentes no Facial Action Coding System (FACS). Devido às dificuldades em distinguir formas FACS semelhantes, bem como à falta de explicações claras no devkit da Apple, há muitos erros de tradução de ARKit para FACS por aí. Cuidado. Este guia tem o objetivo de esclarecer a confusão e desfazer equívocos comuns!

Role a tela para baixo para ir direto para a Folha de dicas.

Dificuldades com kits de ferramentas de desenvolvimento de AR

Se você ou sua equipe estão usando kits de rastreamento de rosto de código aberto para:

  • rostos animados
  • sobrepor o conteúdo virtual
  • criar eventos baseados na expressão
  •  

. . descobrir o que pode ser um desafio - especialmente se você ou sua equipe não tiverem uma formação sólida:

  • expressões faciais
  • rastreamento de rosto
  • o Sistema de Codificação da Ação Facial (FACS)
  •  

Termos vagamente definidos

Os kits de desenvolvimento de software de rastreamento facial (SDKs) podem ser confusos por uma série de razões. Um grande contribuinte para esta confusão é a falta de documentação detalhada disponível para os usuários.

As expressões faciais humanas são complexas e ricas em nuances. Compreender como identificar e quebrar expressões nem sempre é simples ou intuitivo. Apesar desta realidade, os kits de rastreamento facial muitas vezes fornecem apenas definições minimalistas para as formas de expressão em suas bibliotecas.

Formas de expressão minimamente definidas:

    • criar espaço para a má interpretação do usuário.
    • aumentam a probabilidade de o usuário confundir formas semelhantes.
    • limitar o potencial do usuário para utilizar efetivamente o produto.

Como contornar a ambiguidade

As formas de expressão na maioria dos produtos de rastreamento facial (apesar de seus nomes) são principalmente baseadas em FACS. Para aqueles que podem estar céticos: FACS é derivado da anatomia; assim, a menos que um kit de rosto tenha aniquilado completamente os fundamentos da anatomia facial humana, todas as formas terão equivalentes a FACS.
Se você deseja promover uma melhor compreensão dos produtos de rastreamento facial que está usando, você deve se familiarizar com o FACS.

A nomenclatura FACS é padronizada. O FACS é consistente. Cada forma de FACS tem uma descrição detalhada, bem definida e muito pesquisada. Se você é bem versado em FACS, você pode se equipar com as ferramentas necessárias para compensar a ambigüidade da maioria das bibliotecas de expressão.

Quer você seja ou não um especialista em FACS, se você deseja uma quebra mais clara das formas de expressão facial ARKit, este é o documento para você 🙂

O Guia

TABELA RÁPIDA

Etiqueta ARKit

nome(s) FACS correspondente(s)

músculo(s) correspondente(s)

referência

browInnerUp

AU 1 - criador de sobrancelhas internas

frontalis, porção medial

mulher levantando a sobrancelha interna

browOuter (esquerda e direita)

AU2 - criador de sobrancelhas externas

frontalis, porção lateral

mulher levantando os cumes externos de suas sobrancelhas

browDown (esquerda e direita)

AU4 - brow lowerer

corrrugator supercilii, depressor supericilii, procerus

mulher franzindo as sobrancelhas, parecendo irritada

eyeWide (esquerda e direita)

AU5 - levantador de tampa superior

palpebrae superioris levator

close-up de uma mulher arregalando os olhos

cheekSquint (esquerda e direita)

AU6 - bochechador

orbicularis oculi, porção orbital

mulher sorrindo com os olhos

eyeSquint (esquerda e direita)

AU7 - Apertador de tampa

orbicularis oculi, porção palpebral

close-up de uma mulher estreitando os olhos

eyeBlink (esquerda e direita)

AU45 - piscar os olhos

relaxamento do levator palpebrae superioris & contração da porção palpebral do orbicularis oculi

AU45 - piscar - orbicularis oculi - GIF - animado - Sistema de Codificação de Ação Facial - FACS

eyeLookUp (esquerda e direita)

M63 - olhos para cima

reto superior e oblíquo inferior***

eyeLookUp - Referência do ARKit

eyeLookDown (esquerda e direita)

M64 - olhos para baixo

reto inferior e oblíquo superior***

Referência do eyelookdown ARkit

eyeLookIn (esquerda e direita)

AU66 - olhoLookInRight (quando aplicado aos dois olhos ao mesmo tempo); caso contrário, eyeLookInLeft deve ser emparelhado com eyeLookOutRight para olhar para a direita (FACS M62), enquanto eyeLookInRight deve ser emparelhado com eyeLookOutLeft para olhar para a esquerda (FACS M61)

reto medial***

eyelookinleft + eyelookinright - referência de olho cruzado

olho cruzado 

olhar para a esquerda + olhar para a direita - olhar para a direita

olhar para a direita 

eyeLookOut (esquerda e direita)

AU65 - walleye (quando aplicado aos dois olhos ao mesmo tempo); ver acima para olhar para a esquerda vs. olhar para a direita

reto lateral***

referência do walleye FACS olhar para fora

truta

NOTA: Não consegui fazer o walleye de verdade, então usei o Photoshop no olho direito da tela. Não use este como qualquer tipo de referência legítima, rs. (Você pode ver a órbita interna do olho se deslocar de forma não natural).

eyelookinright + eyelookoutleft - olhar para a esquerda ARKit

olhar para a esquerda

noseSneer (esquerda e direita)

AU9 - ralador de nariz

levator labii superioris alaeque nasi

AU9 - enrugador de nariz - FACS - Sistema de Codificação de Ações Faciais - referência de nojo

bocaUpper (esquerda e direita)

AU10 - criador do lábio superior

levator labii superioris

AU10 - Raspador labial superior - FACS - Sistema de Codificação de Ação Facial

mouthSmile (esquerda e direita)

AU12 - puxador de canto labial

zygomaticus major

AU12 - extrator de cantos labiais - FACS - Sistema de codificação de ações faciais

boca (esquerda e direita)

Ver notas em Guia abrangente.

Ver notas em Guia abrangente.

mouthleft - Referência do ARKit

bocaDimple (esquerda e direita)

AU14 - dimpler

bucinador

AU14 - Dimpler FACS

mouthFrown (esquerda e direita)

AU15 - depressor de canto labial

depressor aguli oris

AU15 - depressor de canto labial - FACS - Sistema de Codificação de Ação Facial

mouthLowerDown (esquerda e direita)

AU16 - depressor de lábios inferiores

depressor labii inferioris

AU16 - depressor de lábios inferiores - FACS - Sistema de Codificação de Ação Facial

mouthShrugUpper

AU17 - levantador de queixo - divisão superior

efeito secundário do mentalis

AU17 - levanta o queixo no FACS, mas enruga a boca no ARKit

OBSERVAÇÃO CRÍTICAmouthShrugUpper: mouthShrugUpper é **CONTINGENTE com mouthShrugLower e só é aplicável quando os lábios já estão se tocando ou ESTARÃO se tocando devido à intensidade de mouthShrugLower.

Confirmei essa distinção com ex-membros da FaceShift (a empresa que criou as formas originais de rosto das quais o ARKit é derivado antes de ser comprada pela Apple).

Se você estiver usando o ICT-FaceKit, eles se apropriaram indevidamente do mouthShrugUpper como "levantador do lábio superior" e traduziram erroneamente as formas reais de "levantador do lábio superior", mouthUpperUp_L e mouthUpperUp_R, como "aprofundador do sulco nasolabial".

mouthShrugLower

AU17 - levantador de queixo - divisão inferior

mentalis

AU17 - levanta o queixo no FACS, mas enruga a boca no ARKit

VEJA A OBSERVAÇÃO ACIMA na seção mouthShrugUpper.

bochechaPuff

AD34 - bafo

bucinador

cheekPuff - ARKit vs. AD34 - puff - FACS

mouthPucker

AU18 - franzir os lábios

incisivus labii superioris, incsivus labii inferioris

AU18 - franzir os lábios (beijar a cara) - FACS - Sistema de Codificação de Ação Facial

mouthStretch (esquerda e direita)

AU20 - esticador labial

risorius

close-up da parte inferior do rosto de uma mulher esticando seus lábios

mouthFunnel

AU22 - funilador labial

orbicularis oris

AU22 - funilador labial - FACS - Sistema de Codificação de Ação Facial

mouthPress (esquerda e direita)

AU24 - prensa labial

orbicularis oris

AU24 - prensa labiais - FACS - Sistema de Codificação de Ação Facial

mouthClose

AU8, mas veja as observações em Guia abrangente.

orbicularis oris, mas veja as notas em Guia abrangente.

Referência de boca fechada do ARKit AKA FACS AU8 - lábios voltados um para o outro

mouthRoll (superior e inferior)

AU28 - os lábios chupam

orbicularis oris

AU28 - sucção dos lábios -orbicularis oris - FACS - Sistema de Codificação de Ações Faciais

jawOpen

AU26 - gota de mandíbula ou AU27 - estiramento bucal

(AU26) relaxamento dos músculos masseter, temporal e pterigóideo interno ou (AU27) pterigóideo lateral e os músculos supra-hióideos (digástrico anterior, genio-hióideo e milo-hióideo)

AU26 - queda da mandíbula - FACS - Sistema de Codificação da Ação Facial

mandíbula (esquerda e direita)

AD30 - mandíbula de lado

pterigóides e temporais

AD30 - mandíbula lateral - FACS - Sistema de Codificação de Ação Facial

jawForward

AD29 - empurrão da mandíbula

pterigóides e masséter

AD29 - impulso da mandíbula - FACS - Sistema de Codificação da Ação Facial

** = Indica uma simplificação excessiva dos correlatos musculares. Por exemplo, os músculos relacionados ao olhar são muito mais complexos do que "reto superior = os olhos olham para cima". Ao contrário, eles trabalham em conjunto em um sistema de relatividade. Para os propósitos deste guia, entretanto, os movimentos são combinados com os músculos mais relevantes e idealistas.

OUTRAS NOTAS

ARKit está faltando algumas ações importantes para a expressão e a emoção cotidiana. Faltam as formas oficiais da FACS:

  • AU11 - aprofundador de sulcos nasolabiais - zigomático menor
  • AU13 - puxador de lábios afiados - elevador do ângulo do olho
  • AU23 - aperto labial - orbicularis oris
  • AU38 - dilatador de narinas - dilatador naris
  • AU39 - compressor de narinas - depressor septi & transverse nasalis

Outras formas em falta:

RECURSOS ADICIONAIS

  • Para obter mais referências e informações sobre o FACS (Facial Action Coding System), consulte o site FACS Folha de fraude.

Projetado para estúdios e equipes

Vamos conversar.

facetheFACS@melindaozel.com