चेहरे की ट्रैकिंग में वीआर हेडसेट की बाधा को दरकिनार करना

अदृश्य को ट्रैक करना

चेहरा ट्रैकिंग में काम करने के अपने वर्षों के दौरान, मैंने इंजीनियरों और शोधकर्ताओं के बीच यह अंधविश्वास देखा कि जब भौंहें, आँखें और मुँह जैसी चेहरे की विशेषताएँ कैमरे की दृश्य सीमा से बाहर चली जाती हैं, तो आप उन्हें ट्रैक नहीं कर सकते। यह धारणा पूरी तरह से सही नहीं है। भौंहें उठ रही हैं या भौंहों के बीच की रेखा गहरी हो रही है, यह जानने के लिए आपको भौंहें देखना जरूरी नहीं है, और नाक पर झुर्रियाँ पड़ रही हैं यह जानने के लिए आपको नाक देखना जरूरी नहीं है।.

हमारे चेहरे प्रत्येक चेहरे की क्रिया के साथ अनूठे ढंग से फूले, फैले और झुर्रियाँ पड़ते हैं। मैंने इन परिवर्तनों का उपयोग लेबलर को केवल त्वचा की गति से अलग-अलग अभिव्यक्तियों को पहचानने और सटीक रूप से वर्गीकृत करने के लिए प्रशिक्षण देने में किया है। अच्छी तरह निर्देशित दस्तावेज़ीकरण, उदाहरणों का एक व्यापक सेट और उच्च-गुणवत्ता वाले कैमरे के साथ, आप सीमित दृश्य क्षेत्र (FOV) के साथ जानकारी की सीमाओं का अनुमान लगा सकते हैं।.

आंखों की ट्रैकिंग के लिए आवश्यक न्यूनतम दृश्य क्षेत्र अक्सर कुछ ही क्रियाओं को ट्रैक करने के लिए पर्याप्त होता है। दृश्य A (नीचे दिए गए छवि सेट में) सबसे अधिक दर्शाता है कि एक दृष्टि-आधारित ट्रैकर का दृश्य कैसा दिख सकता है। हालांकि आई ट्रैकिंग कैमरों का मुख्य उद्देश्य केवल आंख के उस हिस्से को कवर करना है जिससे दृष्टि में होने वाले बदलाव देखे जा सकें, इसकी क्षमता कहीं अधिक है। इस केंद्रित दृश्य के साथ भी, आप अभी भी पता लगा सकते हैं। ऊपरी ढक्कन उठाने वाला (AU5), गाल उठाने वाला (AU6), और ढक्कन कसने वाला (AU7) अपेक्षाकृत उच्च स्तर की निश्चितता के साथ। ये क्रियाएँ ध्यान, प्रतिक्रियाओं और सहभागिता को मापने में उपयोगी हैं; ये संचार में भी महत्वपूर्ण संकेत हैं।.

कई लोगों को एक्शन यूनिट नामों जैसे से ब्लॉक कर दिया जाता है। गाल उठाने वाला और मान लें, “हम ट्रैक नहीं कर सकते" गाल उठाने वाला क्योंकि हमारी FOV गाल के क्षेत्र को कवर नहीं करती है। लेकिन गाल उठाने वाला यह अपने नाम से कहीं अधिक है; यह ऑर्बिक्युलरिस ओक्युलि की संकुचन से होने वाली एक क्रिया है, जो आंख के आसपास की मांसपेशी है। हालांकि ऑर्बिक्युलरिस ओक्युलि की गतिविधियाँ गालों को प्रभावित करती हैं, कई परिवर्तन वास्तव में आंख के सॉकेट क्षेत्र में होते हैं। जब तक आपको आंख के कोनों का सीमित दृश्य या निचली पलक के नीचे त्वचा की एक पतली पट्टी दिखाई देती है, आप यह निर्धारित कर सकते हैं कि हाँ या नहीं गाल उठाने वाला हो रहा है। समान अवधारणाएँ उन अन्य क्रियाओं पर भी लागू होती हैं जिन्हें मैंने नीचे दी गई छवियों में सूचीबद्ध किया है।. 

विभिन्न FOVs के साथ क्षमताएँ

यह चार्ट दिखाता है कि विभिन्न दृश्य क्षेत्रों के साथ कौन-कौन सी क्रिया इकाइयाँ (एयू) का पता लगाया जा सकता है।. ध्यान रखें कि यह विभिन्न FOVs के साथ क्या संभव हो सकता है या नहीं, इसका संक्षिप्त विवरण है। (यदि आप निचले चेहरे और संयोजन आकृतियों के लिए भविष्यवाणियों के बारे में जानना चाहते हैं, मैं परामर्श के लिए उपलब्ध हूँ।.) परिस्थितियाँ अतिरिक्त कारकों जैसे कैमरा कोण और हेडसेट के चेहरे पर टिकने के तरीके के आधार पर बदलेंगी। (क्या हेडसेट भारी है? इसका वजन और दबाव चेहरे के विभिन्न हिस्सों को कैसे प्रभावित करता है?) 

यदि आप इन-हेडसेट फेस-ट्रैकिंग पर काम कर रहे हैं, तो अपनी क्षमता को अनुमानों से सीमित न होने दें। चेहरा जटिल है और सुरागों से भरा हुआ है। आपको बस सही सुराग ढूंढने हैं, और आप थोड़े से संसाधनों से भी बहुत कुछ हासिल कर सकते हैं।. 

शेष सामग्री के लिए प्रीमियम सदस्य केवल। यदि आप सदस्य हैं, साइन इन और इस पेज पर वापस जाएँ :)!

“Bypassing VR Headset Occlusion in Face Tracking” पर 2 विचार”

  1. यह शानदार और जानकारीपूर्ण है। अब मुझे हैलोवीन के दौरान लोगों की भावनाओं का पता लगाने का बेहतर तरीका समझ आ गया है! हम्म… मुझे अभी भी अभिव्यक्तियों और भावनाओं का एक डेटाबेस चाहिए, जिसे AU विशेषताओं (जिसे आकार, चौड़ाई, गहराई और त्वचा के प्रकार के आधार पर और विभाजित किया जा सकता है) से मैप किया गया हो। यह क्षेत्र बहुत रोचक है!

  2. नमस्ते
    मैं ऑनलाइन नौकरी की तलाश कर रहा था, मुझे पहले FACS कोर्स मिला और मैं Affectiva कंपनी में काम कर रहा था।.
    धन्यवाद

टिप्पणी करें

यह साइट स्पैम कम करने के लिए अकिस्मेट का उपयोग करती है। जानें कि आपकी टिप्पणी डेटा कैसे संसाधित किया जाता है।

स्टूडियो और टीमों के लिए डिज़ाइन किया गया

चलो बात करें।.

facetheFACS@melindaozel.com