보이지 않는 것 추적하기

수년간 얼굴 추적 분야에서 일하면서 엔지니어와 연구원들 사이에서 얼굴의 랜드마크(눈썹, 눈, 입과 같은 특징)가 카메라 시야에서 벗어나면 추적할 수 없다는 미신이 퍼져 있는 것을 보았습니다. 이 믿음은 전적으로 사실이 아닙니다. 눈썹을 보지 않고도 눈썹이 올라갔는지, 주름이 졌는지 알 수 있고 코를 보지 않고도 주름이 생겼는지 알 수 있습니다.

사람의 얼굴은 표정을 지을 때마다 고유하게 부풀어 오르고, 늘어나고, 주름이 생깁니다. 저는 이러한 변화를 이용해 라벨러가 피부 움직임만으로 개별적인 표정을 인식하고 정확하게 분류하도록 훈련시켰습니다. 잘 지시된 문서, 포괄적인 예제, 고화질 카메라가 있으면 제한된 시야각으로 정보의 범위를 추정할 수 있습니다.

시선 추적에 필요한 최소 FOV는 몇 가지 동작을 추적하는 데 충분한 경우가 많습니다. 아래 이미지에서 A 뷰는 시선 기반 트래커 뷰의 모습을 가장 잘 보여줍니다. 시선추적 카메라의 주요 목표는 시선의 변화를 관찰할 수 있을 만큼만 눈을 가리는 것이지만, 그 잠재력은 훨씬 더 큽니다. 이렇게 집중된 뷰를 사용하더라도 다음 사항을 감지할 수 있습니다. 상단 뚜껑 올리기 (AU5), 뺨 올리기 (AU6) 및 뚜껑 조임 (AU7)을 비교적 확실하게 측정할 수 있습니다. 이러한 동작은 주의력, 반응, 참여도를 측정하는 데 유용하며 커뮤니케이션에 있어 중요한 신호이기도 합니다.

많은 사람들이 다음과 같은 작업 단위 이름에 의해 차단됩니다. 뺨 올리기 "우리는 추적할 수 없습니다. 뺨 올리기 시야각이 뺨 부위를 커버하지 못하기 때문입니다." 하지만 뺨 올리기 는 이름에서 알 수 있듯이 눈 주위를 둘러싼 근육인 안륜근의 수축으로 인해 발생하는 현상입니다. 안륜근의 움직임이 볼에 영향을 주기는 하지만, 실제로는 안와 부위에서 많은 변화가 일어납니다. 눈꼬리의 가장자리나 아래 눈꺼풀 아래의 피부가 살짝 보이는 정도만 있으면 다음 사항을 확인할 수 있습니다. 뺨 올리기 가 발생하고 있습니다. 아래 이미지에 나열한 다른 작업에도 비슷한 개념이 적용됩니다. 

다양한 시야각의 기능

이 차트는 다양한 시야각으로 감지할 수 있는 액션 단위(AU)를 보여줍니다. 이는 다양한 FOV에서 가능한 것과 불가능한 것에 대한 요약된 분석입니다. (하부 얼굴 및 조합 모양에 대한 예측에 대해 알아보려면 여기를 참조하세요, 상담이 가능합니다..) 카메라 각도 및 헤드셋이 얼굴에 닿는 방식과 같은 추가 요인에 따라 조건이 달라집니다. (헤드셋이 무겁나요? 헤드셋의 무게와 압력이 얼굴의 여러 부위에 어떤 영향을 미치나요?) 

헤드셋 내 얼굴 추적 작업을 하는 경우, 가정으로 인해 잠재력이 제한되지 않도록 하세요. 얼굴은 복잡하고 단서로 가득합니다. 올바른 단서를 찾기만 하면 작은 것에서 많은 것을 성취할 수 있습니다.