Come si può paragonare il FACS a ciò che viene fatto nel deep learning?

La maggior parte delle aziende che si occupano di tracciamento dei volti e delle emozioni si affida a FACS per l'apprendimento automatico. Utilizzano FACS per tracciare le loro pipeline di dati. Raccolgono dati con espressioni basate su FACS. Addestrano le loro macchine con una classificazione basata su FACS e così via. Anche se non utilizzate un approccio basato su FACS, avete comunque bisogno di FACS per identificare e comunicare le aree di fallimento, al fine di valutare le esigenze di dati per migliorare la tecnologia.

Esistono dataset FACS esistenti che possiamo utilizzare per addestrare un modello di apprendimento automatico con il volto e il parlato?

Da quello che ho visto lavorando nel settore tecnologico sul tracciamento dei volti, la maggior parte dei set di dati sono pieni di dati impuri. È necessario essere in grado di esaminare i dati e ripulire molti rifiuti. Se si dispone di risorse, è consigliabile creare sistemi di raccolta ed etichettatura dei dati interni. Se state costruendo i vostri team di raccolta dati, leggete Bias nel tracciamento delle emozioni.

Mi consigliate qualche applicazione che estragga FACS in modo robusto? Potete consigliare qualche applicazione per l'estrazione di FACS?

Se per applicazione che estrae FACS si intende un rilevatore/tracciatore FACS automatico, direi di no. Non consiglio vivamente nessuna applicazione. Alcune applicazioni possono rilevare espressioni molto semplici e ad alta intensità, ma spesso non riescono a rilevare espressioni sottili o stratificate. Penso che siamo ancora lontani da qualcosa di veramente robusto, soprattutto a causa della negligenza dei dati della maggior parte delle aziende tecnologiche leader. Per saperne di più qui e qui.

L'iPhone ha 52 espressioni, sono sufficienti per una buona animazione? In caso contrario, come si può utilizzare un iPhone per aggiungere altre forme FACS?

Si tratta di un personaggio da semi-stilizzato a molto stilizzato con movimenti di base? Se è così, potrebbe andare bene. Se invece volete personaggi più fotorealistici ed espressivi, non vi porterà al livello di qualità necessario. Essendo una persona che si occupa più che altro di osservazione e critica, non saprei dirti come aggiungere altre forme FACS; tuttavia, sono disponibile per una consulenza se vuoi dirmi quali sono le tue esigenze per i tuoi personaggi / cosa vuoi ottenere in termini di espressività / quali forme potresti aver bisogno di aggiungere per ottenere ciò che vuoi: facetheFACS@melindaozel.com

Stiamo vivendo un boom di avatar 3D dal vivo, ma mancano molte espressioni facciali. Come pensa che si possano migliorare le performance umane digitali in tempo reale?

Questo aspetto è diviso in due parti:

1. La tecnologia. La tecnologia di tracciamento dei volti non è del tutto al passo con i tempi. Il successo degli avatar dal vivo può essere ottenuto armonizzando la tecnologia con l'arte. È necessario condurre ricerche e osservazioni approfondite per valutare come la tecnologia di tracciamento risponde ai diversi volti. Inoltre, è necessario valutare gli obiettivi degli avatar. In base al contesto, quali espressioni sono prioritarie? A seconda delle situazioni in cui gli avatar vengono utilizzati, le diverse espressioni avranno diversi livelli di priorità.

2. L'arte. Anche se la tecnologia non è al punto giusto, si può fingere molto attraverso l'arte. Si può fingere attraverso l'arte una volta che si ha un'idea chiara di ciò che non funziona nella tecnologia e di ciò che si vuole privilegiare per le espressioni dell'avatar. Quando lavoravo a Meta, ho lavorato intensamente con i dati e ho studiato le prestazioni della tecnologia su diversi volti. Essere in grado di identificare queste carenze mi ha permesso di lavorare efficacemente con un modellatore per mascherare i problemi ricorrenti attraverso il lato artistico. La maggior parte degli avatar dall'aspetto riuscito si ottiene grazie all'arte che maschera i problemi tecnici.

In che modo accenti diversi possono essere supportati da FACS e come le diverse pronunce influiscono sulle espressioni facciali e sui movimenti dei personaggi stilizzati?

Le più piccole unità di suono significative in una lingua parlata sono chiamate fonemi. Lingue diverse sono costituite da insiemi di fonemi diversi. Nell'arte e nella tecnologia vocale, i fonemi sono raggruppati in base al loro aspetto quando vengono prodotti. In altre parole, i fonemi sono raggruppati in base alle forme generali che la nostra bocca assume per produrli. Questi fonemi raggruppati visivamente vengono definiti visiere. Un esempio di fonemi distinti che formano un unico visema sono i suoni bilabiali: B, M e P. Sebbene B, M e P siano fonemi distinti, quando produciamo questi suoni le nostre labbra assumono essenzialmente la stessa configurazione. La produzione di B, M e P ha lo stesso aspetto; pertanto, B, M e P costituiscono un unico visema. Le forme FACS possono essere utilizzate per rappresentare grossolanamente un visema, anche se possono mancare dettagli più fini (discussi alla fine di questa risposta).

Gli accenti nascono quando alla stessa parola vengono applicati fonemi diversi. Ad esempio, consideriamo la parola "car". La versione americana dell'inglese pronuncia la "a" di "car" in modo diverso dalla versione inglese britannica; pertanto, l'inglese americano utilizza un fonema differente. 

Sebbene "car" sia la stessa parola con lo stesso significato sia nell'inglese americano che in quello britannico, la sua pronuncia è composta da fonemi diversi a seconda dell'inglese utilizzato.

Se le forme FACS sono utilizzate per creare lo scheletro di un visema, e una parola pronunciata con accenti diversi è composta da fonemi diversi, allora quella parola è spesso composta anche da visemi diversi. La formula variabile del visema significa che si possono applicare forme FACS diverse alle stesse parole con accenti diversi. Questa suddivisione significa che è molto importante considerare i suoni del discorso e le opzioni fonemiche delle parole, non le lettere che le compongono.

I problemi principali con il FACS e il parlato derivano dai fonemi prodotti al di fuori della meccanica delle espressioni facciali, ad esempio le lingue gutturali. Inoltre, il FACS in generale ha qualche anello mancante quando si tratta di forme vocali, anche per l'inglese americano. Questa carenza è il motivo per cui ho definito unità di azione secondarie come "stringi labbra verticale" e "smorza asse Z". (Vedi Foglio degli imbrogli FACS per i dettagli).