Rastreando o que você não pode ver

Ao longo de meus anos trabalhando no rastreamento facial, observei uma superstição entre engenheiros e pesquisadores de que não se pode rastrear pontos faciais (características como sobrancelhas, olhos e boca) quando eles caem fora da visão da câmera. Esta crença não é totalmente verdadeira. Você não precisa ver uma sobrancelha para saber se ela está levantando ou sulcando, e não precisa ver o nariz para saber quando ela está enrugando.

Nossos rostos incham, esticam e enrugam de forma única em cada ação facial. Utilizei estas mudanças para treinar rotuladores para reconhecer e classificar com precisão expressões discretas do movimento apenas da pele. Com documentação bem direcionada, um conjunto abrangente de exemplos e uma câmera de alta qualidade, você pode extrapolar limites de informação com um FOV limitado.

O FOV mínimo necessário para o rastreamento ocular é freqüentemente suficiente para rastrear um punhado de ações. A vista A (na imagem abaixo) é a que mais reflete a aparência de um rastreador baseado no olhar. Embora o principal objetivo das câmeras de rastreamento ocular seja cobrir apenas o suficiente do olho para observar as mudanças no olhar, seu potencial é muito maior. Mesmo com esta visão concentrada, você ainda pode detectar raiser da tampa superior (AU5), bochechador (AU6), e Apertador de tampa (AU7) com um grau relativamente alto de certeza. Estas ações são úteis para suas aplicações na medição da atenção, reações e engajamento; são também sinais cruciais na comunicação.

Muitas pessoas ficam bloqueadas por nomes de unidades de ação, como bochechador e assumir, "Não podemos rastrear bochechador porque nosso FOV não cobre a área da bochecha". Mas bochechador é mais do que seu nome revela; é uma ação causada pela contração de orbicularis oculi, um músculo que envolve a área do olho. Enquanto os movimentos do orbicularis oculi impactam as bochechas, muitas mudanças realmente ocorrem na área da órbita ocular. Desde que você tenha uma visão marginal dos cantos dos olhos ou uma lasca de pele sob a pálpebra inferior, você pode determinar se bochechador está ocorrendo. Conceitos semelhantes se aplicam às outras ações listadas nas imagens abaixo. 

Capacidades com diferentes FOVs

Este gráfico mostra quais unidades de ação (UA) são possíveis de detectar com vários campos de visão. Tenha em mente que esta é uma quebra abrupta do que pode ou não ser possível com FOVs diferentes. (Se você deseja aprender sobre previsões para formas de face inferior e combinadas, Estou disponível para consulta.) As condições mudarão com base em fatores adicionais como o ângulo da câmera e como o fone de ouvido descansa sobre a face. (O fone de ouvido é pesado? Como seu peso e pressão afetam várias áreas da face?) 

Se você estiver trabalhando com o rastreamento de rosto no headset, não deixe que as suposições limitem seu potencial. O rosto é complicado e cheio de pistas. Tudo o que você precisa fazer é encontrar as pistas certas, e você pode realizar muito a partir de um pouco.