Desempenho facial: 3 dicas essenciais para protocolos de captura de dados

Ao projetar protocolos de captura facial, há muitos aspectos que devem ser considerados para evitar a produção de dados de baixa qualidade e a fadiga dos participantes.

Fatores como...

quais poses você escolhe
como você sequencia as poses
como você explica/mostra as poses, etc.

...fazem uma enorme diferença no resultado de suas sessões.

Trabalhando com as principais empresas de jogos e tecnologia para refinar seus pipelines de captura de desempenho facial, é bastante óbvio que as pessoas estão reciclando protocolos semelhantes e ultrapassados. Considerando o objetivo atual de muitas capturas, esses protocolos antigos costumam ser desajeitados, com combinações ilógicas de poses, expressões redundantes e fluxo ineficiente.

Há uma lista interminável de prós e contras no design de captura facial, mas aqui estão algumas dicas gerais:

1. Tenha a mente voltada para o caso de uso!

Você está definindo dados de treinamento de aprendizado de máquina para aplicativos em tempo real? Está reunindo poses extremas para cenas de luta de alta intensidade em filmes ou jogos? Pense em seu objetivo final.

Se o seu objetivo for capturar dados faciais para um produto de avatar voltado para o trabalho em equipe, você provavelmente desejará priorizar expressões faciais pró-sociais, colaborativas e naturais. Pare de desperdiçar tempo, energia e orçamento de produção inchando sua sessão com todas as poses desagradáveis de “grito” ou faces hipercomprimidas de “limão”. Guarde-os para Diablo e Planeta dos Macacos.

2. Projeto para fluxo lógico.

Agrupe expressões semelhantes, por exemplo, poses FACS baseadas em sobrancelhas (unidades de ação como - levantar a sobrancelha interna, levantar a sobrancelha externa, abaixar a sobrancelha) e poses FACS baseadas em olhos (unidades de ação como - levantar a pálpebra superior, apertar a pálpebra, levantar a bochecha, fechar os olhos, piscar, piscar).
Vá do mais fácil ao mais difícil em cada seção. Se você passar de fácil para difícil em TODAS as poses, acabará forçando o usuário a saltar dos olhos para a boca, para as sobrancelhas e para a mandíbula.
Agrupar expressões estrategicamente não apenas ajuda a reduzir a fadiga e a compreensão do usuário, mas também abre a oportunidade de ordenar suas poses de forma a permitir que você descreva e desenvolva as anteriores.

3. Certifique-se de que as imagens de exemplo e as descrições correspondam à pose-alvo e às formas de combinação pretendidas.

Muitas vezes, vejo avisos como “levante as sobrancelhas sem arregalar os olhos”, mas o ator na foto de exemplo está claramente arregalando os olhos. Uma grande porcentagem de usuários fará o que vê, não o que ouve ou lê. Portanto, não dê instruções conflitantes e certifique-se de revisar rigorosamente as poses de exemplo!

📝 Mais uma dica: No vídeo, observe como eu indico a ação conhecida como elevação do queixo dizendo "empurre o lábio inferior para cima". É fácil ficar preso à descrição de poses com base em seus nomes formais, mas, ao usar descritores mais acessíveis, você pode aumentar a probabilidade de o participante acertar a pose.