Hur jämför du FACS med vad som görs inom djupinlärning?

De flesta företag som arbetar med ansiktsspårning och känslospårning förlitar sig på FACS för maskininlärning. De använder FACS för att kartlägga sina datapipelines. De samlar in data med FACS-baserade uttryck. De tränar sina maskiner med FACS-baserad klassificering osv. Även om du inte använder ett FACS-baserat tillvägagångssätt behöver du fortfarande FACS för att identifiera och kommunicera områden med fel för att bedöma databehov för att förbättra tekniken.

Finns det några befintliga FACS-dataset som vi kan använda för att träna en maskininlärningsmodell med ansikte och tal?

Från vad jag har sett när jag har arbetat tekniskt med ansiktsspårning är de flesta dataset fulla av orena data. Du måste kunna granska data och rensa bort mycket skräp. Om du har resurserna rekommenderas att skapa interna system för datainsamling och märkning. Om ni bygger upp egna datagrupper bör ni läsa följande Bias vid spårning av känslor.

Rekommenderar du några program som på ett robust sätt extraherar FACS? Kan du rekommendera någon applikation för FACS-utvinning?

Om du med tillämpning som extraherar FACS menar en automatiserad FACS-detektor/spårare, skulle jag säga nej. Jag rekommenderar inte starkt några tillämpningar. Vissa program kan upptäcka mycket enkla, högintensiva uttryck, men de misslyckas ofta med att upptäcka subtila eller skiktade uttryck. Jag tror att vi är en bit ifrån något som faktiskt är robust, särskilt på grund av de flesta ledande teknikföretagens datanegativitet. Läs mer här och här.

iPhones har 52 uttryck, räcker det för bra animationer? Om inte, hur använder du en iPhone för att lägga till fler FACS-former?

Är du ute efter en halv- till mycket stiliserad karaktär med grundläggande rörelser? Om så är fallet kan det gå bra. Om du vill ha mer fotorealistiska och uttrycksfulla karaktärer kommer det inte att ge dig den kvalitetsnivå du behöver. Som någon som är mer på observations- och kritiksidan kan jag inte säga hur du ska göra för att lägga till fler FACS-former; jag är dock tillgänglig för konsultation om du vill berätta för mig vilka behov du har för dina karaktärer / vad du vill åstadkomma när det gäller uttrycksfullhet / vilka former du kan behöva lägga till för att få det du vill: facetheFACS@melindaozel.com.

Vi har en boom av 3D-liveavatarer, men de saknar många ansiktsuttryck. Hur tror du att vi kan förbättra digitala mänskliga prestationer i realtid?

Det finns två delar i detta:

1. Teknik. Tekniken för ansiktsspårning är inte helt och hållet där vi vill att den ska vara. Framgångsrika levande avatarer kan åstadkommas genom att man harmoniserar tekniken med konsten. Det krävs omfattande forskning och observationer för att bedöma hur tekniken för spårning av ansikten reagerar på olika ansikten. Dessutom måste avatarernas mål utvärderas. Vilka uttryck är prioriterade utifrån sammanhanget? Beroende på de situationer som avatarerna används för kommer olika uttryck att ha olika prioriteringsnivåer.

2. Konsten. Även om tekniken inte är där vi vill att den ska vara kan man fejka mycket av den genom konst. Man kan fejka det med hjälp av konsten när man har en klar uppfattning om vad som inte fungerar i tekniken och vad man vill prioritera för avataruttrycken. När jag var på Meta arbetade jag intensivt med data och studerade hur tekniken fungerade på olika ansikten. Att kunna identifiera dessa brister gjorde att jag effektivt kunde arbeta med en modellbyggare för att maskera återkommande problem genom den konstnärliga sidan. De mest framgångsrika avatarerna uppnås genom att konstverket maskerar tekniska problem.

Hur kan FACS stödja olika accenter, och hur påverkar olika uttal ansiktsuttryck/rörelser för stiliserade karaktärer?

De minsta meningsfulla ljudenheterna i ett talat språk kallas fonem. Olika språk består av olika fonemuppsättningar. Inom konst och talteknik grupperas fonemerna efter hur de ser ut när de produceras. Med andra ord grupperas fonemerna utifrån de allmänna former som våra munnar bildar när de produceras. Dessa visuellt grupperade fonem kallas för Se. Ett exempel på olika fonem som bildar ett enda visem är de bilabiala ljuden: B, M och P. Även om B, M och P är olika fonem, har våra läppar i stort sett samma utformning när vi producerar dessa ljud. Produktionen av B, M och P ser likadan ut, och därför utgör B, M och P ett enda visem. FACS-former kan användas för att grovt representera ett visem, även om finare detaljer kan saknas (diskuteras i slutet av detta svar).

Accenter uppstår när olika fonem används i samma ord. Tänk till exempel på ordet "bil". Den amerikanska engelska versionen uttalar "a" i car på ett annat sätt än den brittiska engelska versionen; därför använder amerikansk engelska en annan fonem. Dessutom uttalar den amerikanska engelska versionen "r" medan den brittiska engelska versionen inte gör det. 

Även om "bil" är samma ord med samma betydelse på både amerikansk och brittisk engelska består uttalet av olika fonem beroende på vilken engelska som används.

Om FACS-formerna används för att skapa skelettet för ett visem och ett ord som uttalas med olika accenter består av olika fonem, består ordet ofta också av olika visem. Den varierande visemformeln innebär att olika FACS-former kan tillämpas på samma ord med olika accenter. Denna uppdelning innebär att det är mycket viktigt att ta hänsyn till talets ljud och ords fonemiska alternativ - inte till de bokstäver som utgör själva orden.

De största problemen med FACS och tal kommer att uppstå när det gäller fonem som produceras utanför ansiktsuttrycksmekaniken - t.ex. gutturala språk. Dessutom har FACS i allmänhet en del felande länkar när det gäller talformer - till och med för amerikansk engelska. Denna brist är anledningen till att jag har definierat underhandlingsenheter som "vertikal läppstramare" och "Z-axis dimpler". (Se FACS fuskblad för mer information.)