Відстежуємо те, чого не бачимо

Протягом багатьох років роботи у сфері відстеження облич я спостерігав серед інженерів та дослідників забобон, що не можна відстежувати орієнтири обличчя (наприклад, брови, очі та рот), коли вони випадають з поля зору камери. Це переконання не зовсім вірне. Вам не потрібно бачити брову, щоб знати, піднімається вона чи хмуриться, і вам не потрібно бачити ніс, щоб знати, коли він морщиться.

Наші обличчя випинаються, розтягуються і зморщуються унікальним чином при кожній мімічній дії. Я використовував ці зміни, щоб навчити маркувальників розпізнавати і точно класифікувати дискретні вирази лише за рухом шкіри. За допомогою добре продуманої документації, вичерпного набору прикладів і високоякісної камери ви можете екстраполювати межі інформації з обмеженим кутом огляду.

Мінімальний кут огляду, необхідний для відстеження погляду, часто достатній для відстеження кількох дій. Вид А (на зображенні нижче) найкраще відображає те, як може виглядати вид трекера, що відстежує погляд. Хоча основна мета камер для відстеження погляду - охопити лише достатню частину ока, щоб спостерігати за змінами погляду, їхній потенціал набагато ширший. Навіть при такому концентрованому погляді можна виявити підйомник верхньої кришки (AU5), підтяжка щік (AU6), і затяжка кришки (AU7) з відносно високим ступенем достовірності. Ці дії корисні для вимірювання уваги, реакції та залученості; вони також є важливими сигналами у спілкуванні.

Багатьох людей блокують такі назви блоків дій, як підтяжка щік і припустити: "Ми не можемо відстежити підтяжка щік тому що наш кут огляду не охоплює область щоки". Але підтяжка щік це більше, ніж випливає з назви: це дія, спричинена скороченням орбікулярного м'яза ока, м'яза, що оточує область навколо очей. Хоча рухи орбікулярних м'язів впливають на щоки, багато змін насправді відбуваються в області очних ямок. Якщо ви бачите куточки очей або клаптик шкіри під нижньою повікою, ви можете визначити, чи відбувається підтяжка щік відбувається. Подібні концепції застосовуються і до інших дій, які я перерахував на зображеннях нижче. 

Можливості з різними кутами огляду

Ця діаграма показує, які одиниці дії (ОДР) можна виявити за допомогою різних полів зору. Майте на увазі, що це стислий опис того, що може бути можливим або неможливим при різних FOV (якщо ви хочете дізнатися про прогнози для нижньої частини обличчя і комбінованих форм), Я доступний для консультацій.) Умови будуть змінюватися залежно від додаткових факторів, таких як кут нахилу камери і те, як гарнітура лежить на обличчі. (Чи важка гарнітура? Як її вага і тиск впливають на різні ділянки обличчя?) 

Якщо ви працюєте над фейс-трекінгом у гарнітурі, не дозволяйте припущенням обмежувати ваш потенціал. Обличчя складне і сповнене підказок. Все, що вам потрібно зробити, це знайти правильні підказки, і ви зможете досягти багато чого з малого.