Spårning av det du inte kan se

Under alla de år som jag har arbetat med ansiktsspårning har jag observerat en övertro bland ingenjörer och forskare på att det inte går att spåra ansiktsmarkörer (funktioner som ögonbryn, ögon och mun) när de ligger utanför kamerans synfält. Denna tro är inte helt sann. Du behöver inte se ett ögonbryn för att veta om det höjs eller rynkas, och du behöver inte se näsan för att veta när den rynkar.

Våra ansikten böljar, sträcker sig och rynkar sig på ett unikt sätt med varje ansiktsrörelse. Jag har använt dessa förändringar för att träna etiketterare att känna igen och korrekt klassificera diskreta uttryck enbart utifrån hudens rörelser. Med välriktad dokumentation, en omfattande uppsättning exempel och en högkvalitativ kamera kan man extrapolera mängder av information med en begränsad FOV.

Den minimala FOV som krävs för ögonspårning räcker ofta för att spåra en handfull åtgärder. Vy A (i bilduppsättningen nedan) återspeglar bäst hur en blickbaserad spårningsvy kan se ut. Även om huvudmålet för ögonspårningskameror är att täcka precis tillräckligt mycket av ögat för att observera förändringar i blicken, är potentialen mycket större. Även med denna koncentrerade vy kan du fortfarande upptäcka Övre ögonlocket höjer sig. (AU5), käpphöjning (AU6), och lockstramare (AU7) med relativt hög grad av säkerhet. Dessa åtgärder är användbara för att mäta uppmärksamhet, reaktioner och engagemang, men de är också viktiga signaler i kommunikationen.

Många människor blir blockerade av namn på handlingsenheter som käpphöjning och antar att "Vi kan inte spåra käpphöjning eftersom vår FOV inte täcker kinden." Men käpphöjning är mer än vad namnet avslöjar; det är en åtgärd som orsakas av en sammandragning av orbicularis oculi, en muskel som omger ögonområdet. Även om rörelserna i orbicularis oculi påverkar kinderna, sker många förändringar i själva verket i området kring ögonhålan. Så länge du har en marginell vy av ögonvrån eller en hudbit under det nedre ögonlocket kan du avgöra om du kan avgöra om käpphöjning sker. Liknande koncept gäller för de andra åtgärder som jag har listat i bilderna nedan. 

Kapaciteter med olika FOV:er

Detta diagram visar vilka aktionsenheter (AU) som är möjliga att upptäcka med olika synfält. Tänk på att detta är en kortfattad beskrivning av vad som kan vara möjligt eller inte med olika FOV:s. (Om du vill veta mer om förutsägelser för lägre ansikten och kombinationsformer, Jag är tillgänglig för konsultationer.) Förhållandena kommer att förändras beroende på ytterligare faktorer, t.ex. kamerans vinkel och hur headsetet vilar på ansiktet. (Är headsetet tungt? Hur påverkar dess vikt och tryck olika delar av ansiktet?). 

Om du arbetar med ansiktsspårning i headsetet, låt inte antaganden begränsa din potential. Ansiktet är komplicerat och fullt av ledtrådar. Allt du behöver göra är att hitta rätt ledtrådar, och du kan åstadkomma mycket med lite.