Bypassare l'occlusione dell'auricolare VR nel tracciamento dei volti

Rintracciare ciò che non si può vedere

Durante i miei anni di lavoro nel campo del face tracking, ho osservato una superstizione tra gli ingegneri e i ricercatori che non è possibile tracciare i punti di riferimento del viso (caratteristiche come le sopracciglia, gli occhi e la bocca) quando cadono fuori dalla vista della telecamera. Questa credenza non è del tutto vera. Non c'è bisogno di vedere un sopracciglio per sapere se si sta alzando o increspando, e non c'è bisogno di vedere il naso per sapere quando si sta corrugando.

I nostri volti si gonfiano, si allungano e si raggrinziscono in modo unico ad ogni azione facciale. Ho usato queste modifiche per addestrare le etichettatrici a riconoscere e classificare con precisione le espressioni discrete solo in base al movimento della pelle. Con una documentazione ben indirizzata, una serie completa di esempi e una fotocamera di alta qualità, è possibile estrapolare i limiti delle informazioni con un FOV limitato.

Il FOV minimo richiesto per il tracciamento oculare è spesso sufficiente per tracciare una manciata di azioni. La vista A (nell'immagine qui sotto) è la più riflettente di come può apparire la vista di un inseguitore basato sullo sguardo. Anche se l'obiettivo principale delle telecamere eye tracking è quello di coprire una parte dell'occhio sufficiente per osservare i cambiamenti di sguardo, il suo potenziale è molto maggiore. Anche con questa vista concentrata, è comunque possibile rilevare alza coperchio superiore (AU5), guancia alzata (AU6), e Serracappuccio (AU7) con un grado di certezza relativamente alto. Queste azioni sono utili per le loro applicazioni nella misurazione dell'attenzione, delle reazioni e dell'impegno; sono anche segnali cruciali nella comunicazione.

Molte persone vengono bloccate da nomi di unità d'azione come guancia alzata e supporre: "Non possiamo rintracciare guancia alzata perché il nostro FOV non copre la zona delle guance". Ma guancia alzata è più di quanto riveli il suo nome; è un'azione causata dalla contrazione dell'orbicularis oculi, un muscolo che circonda la zona degli occhi. Mentre i movimenti dell'orbicularis oculi hanno un impatto sulle guance, molti cambiamenti avvengono in realtà nella zona dell'orbita. Finché si ha una visione marginale degli angoli degli occhi o un frammento di pelle sotto la palpebra inferiore, è possibile determinare se guancia alzata si sta verificando. Concetti simili valgono anche per le altre azioni che ho elencato nelle immagini qui sotto. 

Capacità con diversi FOV

Questo grafico mostra quali unità di azione (AU) è possibile rilevare con vari campi di vista. Tenete a mente che questa è una ripartizione abbreviata di ciò che può o non può essere possibile con diversi FOV (se volete conoscere le previsioni per le forme inferiori del viso e le combinazioni), Sono disponibile per la consultazione.) Le condizioni cambieranno in base a fattori aggiuntivi come l'angolo della telecamera e il modo in cui le cuffie si appoggiano sul viso. (Le cuffie sono pesanti? Come influiscono il suo peso e la sua pressione sulle varie aree del viso?) 

Se state lavorando al face-tracking in cuffia, non lasciate che le supposizioni limitino il vostro potenziale. Il volto è complicato e pieno di indizi. Tutto quello che dovete fare è trovare gli indizi giusti, e potete fare molto da poco. 

Il contenuto rimanente è per Membri Premium solo. Se siete membri, Accedi e tornare a questa pagina :)!

2 commento su “Bypassing VR Headset Occlusion in Face Tracking”

  1. Questo è brillante e informativo. Ora, ho un'idea migliore su come rilevare le emozioni delle persone durante Halloween! Hmm... ho ancora bisogno di un database di espressioni ed emozioni mappate sugli attributi AU (che possono essere suddivisi ulteriormente per forma, larghezza, profondità, tipo di pelle). Questo campo è affascinante!

  2. Ciao
    era alla ricerca di un lavoro online, ho ottenuto il corso FACS prima e stavo lavorando in affectiva Co.
    Grazie

Lascia un commento

Questo sito utilizza Akismet per ridurre lo spam. Scopri come vengono elaborati i dati derivati dai commenti.

Progettato per studi e team

Parliamone.

facetheFACS@melindaozel.com