Mengesan apa yang tidak dapat anda lihat

Sepanjang tahun saya bekerja dalam penjejakan wajah, saya menyedari wujud takhayul di kalangan jurutera dan penyelidik bahawa anda tidak dapat menjejak penanda wajah (ciri seperti kening, mata, dan mulut) apabila ia keluar dari pandangan kamera. Kepercayaan ini tidak sepenuhnya benar. Anda tidak perlu melihat kening untuk mengetahui sama ada ia terangkat atau berkerut, dan anda tidak perlu melihat hidung untuk mengetahui bila ia berkedut.

Wajah kita membengkak, meregang, dan berkerut secara unik pada setiap gerakan wajah. Saya telah menggunakan perubahan ini untuk melatih para pelabel mengiktiraf dan mengklasifikasikan ekspresi terpisah dengan tepat hanya berdasarkan pergerakan kulit. Dengan dokumentasi yang terarah dengan baik, satu set contoh yang komprehensif, dan kamera berkualiti tinggi, anda boleh menganggar had maklumat dengan medan pandangan yang terhad.

FOV minimum yang diperlukan untuk penjejakan mata sering kali mencukupi untuk menjejak beberapa tindakan. Pandangan A (dalam set imej di bawah) paling mencerminkan rupa pandangan penjejak berasaskan pandangan mata. Walaupun matlamat utama kamera penjejak mata adalah untuk merangkumi bahagian mata yang cukup bagi memerhati perubahan arah pandangan, potensinya jauh lebih besar. Walaupun dengan pandangan tertumpu ini, anda masih boleh mengesan penyangga penutup atas (AU5), pengangkat pipi (AU6), dan pemampat penutup (AU7) dengan tahap kepastian yang agak tinggi. Tindakan ini berguna untuk aplikasi dalam mengukur perhatian, reaksi, dan penglibatan; ia juga merupakan isyarat penting dalam komunikasi.

Banyak orang tersekat oleh nama unit tindakan seperti pengangkat pipi dan menganggap, “Kita tidak dapat menjejaki" pengangkat pipi kerana FOV kami tidak merangkumi kawasan pipi. Tetapi pengangkat pipi adalah lebih daripada apa yang didedahkan oleh namanya; ia adalah suatu tindakan yang disebabkan oleh pengecutan orbicularis oculi, otot yang mengelilingi kawasan mata. Walaupun pergerakan orbicularis oculi memang mempengaruhi pipi, banyak perubahan sebenarnya berlaku di kawasan soket mata. Selagi anda dapat melihat bahagian tepi sudut mata atau sekeping kecil kulit di bawah kelopak mata bawah, anda boleh menentukan sama ada atau tidak pengangkat pipi sedang berlaku. Konsep yang serupa terpakai kepada tindakan lain yang telah saya senaraikan dalam imej di bawah. 

Keupayaan dengan FOV yang berbeza

Graf ini menunjukkan unit tindakan (AU) yang boleh dikesan dengan pelbagai bidang pandangan. Perlu diingat bahawa ini adalah pecahan ringkas tentang apa yang mungkin atau mungkin tidak dapat dilakukan dengan FOV yang berbeza. (Jika anda ingin mengetahui tentang ramalan untuk bentuk muka bawah dan gabungan, Saya tersedia untuk perundingan..) Keadaan akan berubah berdasarkan faktor tambahan seperti sudut kamera dan cara headset terletak pada muka. (Adakah headset itu berat? Bagaimana berat dan tekanannya menjejaskan pelbagai bahagian muka?) 

Jika anda sedang mengusahakan penjejakan wajah dalam headset, jangan biarkan andaian mengehadkan potensi anda. Wajah adalah rumit dan penuh dengan petunjuk. Apa yang perlu anda lakukan hanyalah mencari petunjuk yang tepat, dan anda boleh mencapai banyak dengan sedikit.