Bypassare l'occlusione della cuffia VR nel Face Tracking - ANTEPRIMA

Guida all'occlusione delle cuffie VR

QUESTA È UN'ANTEPRIMA DI UN POST PREMIUM.

Rintracciare ciò che non si può vedere

Durante i miei anni di lavoro nel campo del face tracking, ho osservato una superstizione tra gli ingegneri e i ricercatori che non è possibile tracciare i punti di riferimento del viso (caratteristiche come le sopracciglia, gli occhi e la bocca) quando cadono fuori dalla vista della telecamera. Questa credenza non è del tutto vera. Non c'è bisogno di vedere un sopracciglio per sapere se si sta alzando o increspando, e non c'è bisogno di vedere il naso per sapere quando si sta corrugando.

I nostri volti si gonfiano, si allungano e si raggrinziscono in modo unico ad ogni azione facciale. Ho usato queste modifiche per addestrare le etichettatrici a riconoscere e classificare con precisione le espressioni discrete solo in base al movimento della pelle. Con una documentazione ben indirizzata, una serie completa di esempi e una fotocamera di alta qualità, è possibile estrapolare i limiti delle informazioni con un FOV limitato.

Il FOV minimo richiesto per il tracciamento oculare è spesso sufficiente per tracciare una manciata di azioni. La vista A (nell'immagine qui sotto) è la più riflettente di come può apparire la vista di un inseguitore basato sullo sguardo. Anche se l'obiettivo principale delle telecamere eye tracking è quello di coprire una parte dell'occhio sufficiente per osservare i cambiamenti di sguardo, il suo potenziale è molto maggiore. Anche con questa vista concentrata, è comunque possibile rilevare alza coperchio superiore (AU5), guancia alzata (AU6), e Serracappuccio (AU7) con un grado di certezza relativamente alto. Queste azioni sono utili per le loro applicazioni nella misurazione dell'attenzione, delle reazioni e dell'impegno; sono anche segnali cruciali nella comunicazione.

Molte persone vengono bloccate da nomi di unità d'azione come guancia alzata e supporre: "Non possiamo rintracciare guancia alzata perché il nostro FOV non copre la zona delle guance". Ma guancia alzata è più di quanto riveli il suo nome; è un'azione causata dalla contrazione dell'orbicularis oculi, un muscolo che circonda la zona degli occhi. Mentre i movimenti dell'orbicularis oculi hanno un impatto sulle guance, molti cambiamenti avvengono in realtà nella zona dell'orbita. Finché si ha una visione marginale del [RIMOSSO DALL'ANTEPRIMA] o un frammento di pelle sotto il [RIMOSSO DALL'ANTEPRIMA]è possibile determinare se guancia alzata si sta verificando. Concetti simili valgono anche per le altre azioni che ho elencato nelle immagini qui sotto. 

NOTA AI LETTORI: 

Se trovate utile il contenuto di questo post, vi preghiamo di leggere, "Le abitudini di assunzione omogenee della Big Tech". ed educare se stessi sull'importanza di valorizzare la conoscenza interdisciplinare nella tecnologia emergente.

QUESTA È UN'ANTEPRIMA DI UN POST PREMIUM.

Capacità con diversi FOV

Questo grafico mostra quali unità di azione (AU) è possibile rilevare con vari campi di vista. Tenete a mente questa è una ripartizione abbreviata di ciò che può o non può essere possibile con diversi FOV (se volete conoscere le previsioni per le forme inferiori del viso e le combinazioni), Sono disponibile per la consultazione.) Le condizioni cambieranno in base a fattori aggiuntivi come:

  • angolo della telecamera
  • come la cuffia poggia sul viso. (Le cuffie sono pesanti? Come influiscono il suo peso e la sua pressione sulle varie zone del viso?)
  • l'anatomia individuale (ho delle idee su come classificare le variazioni del viso per sezione. Di nuovo, disponibile per la consultazione.)

Se state lavorando al face-tracking in cuffia, non lasciate che le supposizioni limitino il vostro potenziale. Il volto è complicato e pieno di indizi. Tutto quello che dovete fare è trovare gli indizi giusti, e potete fare molto da poco.

CHIAVE

AU1 = sopracciglio interno
AU2 = sopracciglio esterno
AU4 = abbassa la fronte
AU5 = alza coperchio superiore
AU6 = guancia sollevatrice
AU7 = chiusura del coperchio
AU9 = raggrinzitore del naso
AU10 = alza labbro superiore
AU12 = estrattore angolare a labbro 

scatola verde = rilevabile alla maggior parte dei livelli di intensità, robusto alla struttura del viso
scatola gialla = rilevabile a livelli di intensità da moderata ad alta intensità, meno robusto alla struttura del viso
scatola arancione = dipendente dal livello di intensità, fallibile a certe strutture facciali

Guida all'occlusione delle cuffie VR con vari FOV

QUESTA È UN'ANTEPRIMA DI UN POST PREMIUM.
Per vedere il post completo, vedere i pulsanti qui sotto.