ARKit в FACS: Шпаргалка по Blendshape

Шпаргалка з ARKit для FACS

Welcome to the ARKit to FACS Cheat Sheet! Here you will find breakdowns of how to translate ARKit face shapes into their Facial Action Coding System (FACS) and facial muscle equivalents.

Due to the difficulties in distinguishing similar FACS shapes as well as the lack of clear explanations in the Apple’s devkit, there are many mistranslations of ARKit-to-FACS out there. Beware. This guide is meant to clear up confusion and undo common misconceptions!

See the Шпаргалка з FACS for even more FACS references.

Труднощі з інструментарієм для розробки доповненої реальності

Якщо ви або ваша команда використовуєте набори для відстеження облич з відкритим вихідним кодом, щоб:

  • оживлені обличчя
  • накладати віртуальний контент
  • створювати події на основі виразів
  •  

. ... з'ясування того, що є що, може бути складним завданням, особливо якщо ви або ваша команда не маєте сильного досвіду в цій галузі:

  • міміка
  • відстеження обличчя
  • Система кодування мімічних дій (FACS)
  •  

Нечітко визначені терміни

Набори для розробки програмного забезпечення для відстеження облич (SDK) можуть бути заплутаними з ряду причин. Значною мірою цьому сприяє відсутність детальної документації, доступної для користувачів.

Вираз обличчя людини складний і багатий на нюанси. Розуміння того, як ідентифікувати та аналізувати вираз обличчя, не завжди є простим або інтуїтивним. Незважаючи на це, набори для відстеження обличчя часто надають лише мінімалістичні визначення форм виразу у своїх бібліотеках.

Мінімально визначені форми виразу:

    • створюють простір для неправильної інтерпретації користувачами.
    • підвищують ймовірність того, що користувач переплутає схожі на вигляд фігури.
    • обмежують потенціал користувача щодо ефективного використання продукту.

Як обійти невизначеність

Форми виразу обличчя в більшості продуктів для відстеження обличчя (незважаючи на їхні назви) в основному базуються на FACS. Для тих, хто може бути скептично налаштований: FACS походить від анатомії, тому, якщо тільки набір для відстеження обличчя повністю не знищив основи анатомії людського обличчя, всі форми матимуть FACS-еквіваленти.

Якщо ви хочете краще розуміти продукти для відстеження облич, які ви використовуєте, вам варто ознайомитися з FACS.

Назви FACS стандартизовані. FACS є послідовним. Кожна фігура FACS має детальний, чітко визначений і ретельно досліджений опис. Якщо ви добре знайомі з FACS, ви можете озброїтися інструментами, необхідними для компенсації неоднозначності більшості бібліотек виразів.

Незалежно від того, підковані ви в FACS чи ні, якщо вам потрібна більш чітка розбивка форм виразу обличчя ARKit, цей документ для вас 🙂

ARKit to FACS to Facial Muscles Cheat Sheet

Етикетка ARKit

відповідне ім'я (імена) FACS

відповідний(і) м'яз(и)

посилання

browInnerUp

AU 1 - внутрішній підйомник брів

лобна кістка, медіальна частина

жінка піднімає внутрішню брову

browOuter (ліворуч та праворуч)

AU2 - зовнішній підйомник брів

лобна частина, бічна частина

жінка піднімає зовнішні піки брів

browDown (ліворуч та праворуч)

AU4 - опускання брів

гофрувальник суперіцилій, депресор суперіцилій, процер

жінка сердито супить брови

eyeWide (ліворуч та праворуч)

AU5 - підйомник верхньої кришки

levator palpebrae superioris

крупним планом жінка розширює очі

cheekSquint (ліворуч та праворуч)

AU6 - підйомник для щік

orbicularis oculi, орбітальна частина ока

жінка посміхається очима

eyeSquint (ліворуч та праворуч)

AU7 - затяжка кришки

орбікуляріс ока, пальпебральна частина

крупним планом жінка звужує очі

eyeBlink (ліворуч та праворуч)

AU45 - блимає

розслаблення levator palpebrae superioris та скорочення долонної частини orbicularis oculi

AU45 - моргання - orbicularis oculi - GIF - анімований - Система кодування мімічних дій - FACS

eyeLookUp (ліворуч та праворуч)

M63 - очі вгору

верхній прямий та нижній косий**

eyeLookUp - посилання на ARKit

eyeLookDown (ліворуч та праворуч)

M64 - очі вниз

нижній прямий та верхній косий**

посилання на ARkit

eyeLookIn (ліворуч та праворуч)

AU66 - косоокість (при застосуванні до обох очей одночасно); в іншому випадку eyeLookInLeft повинен бути поєднаний з eyeLookOutRight для погляду вправо (FACS M62), тоді як eyeLookInRight повинен бути поєднаний з eyeLookOutLeft для погляду вліво (FACS M61)

медіальний прямий м'яз**

eyookinleft + eyookinright - перехресний погляд

перехресне око 

eyelookinleft + eyelookoutright - погляд вправо

погляд вправо 

eyeLookOut (ліворуч та праворуч)

AU65 - "судак" (при нанесенні на обидва ока одночасно); див. вище про лівий та правий погляд

бічний прямий м'яз**

посилання FACS зовнішній погляд FACS

судак

ПРИМІТКА: Я не міг зобразити судака по-справжньому, тому я відфотошопив своє праве око на екрані. Не використовуйте це як будь-яке законне посилання, лол. (Ви можете побачити, що внутрішня орбіта ока неприродно змістилася).

eyelookinright + eyelookoutleft - погляд вліво ARKit

погляд вліво

noseSneer (ліворуч та праворуч)

AU9 - зморщувач для носа

levator labii superioris alaeque nasi

AU9 - зморшкуватий ніс - FACS - Система кодування мімічних дій - референс відрази

mouthUpper (ліворуч та праворуч)

AU10 - підйомник верхньої губи

levator labii superioris

AU10 - підйомник верхньої губи - FACS - система кодування мімічних дій

mouthSmile (ліворуч та праворуч)

AU12 - знімач кута кромки

великий виличний м'яз

AU12 - знімач кута губи - FACS - Система кодування мімічних дій

рот (лівий та правий)

Див. примітки в Вичерпний посібник.

Див. примітки в Вичерпний посібник.

mouthleft - посилання на ARKit

mouthDimple (ліворуч та праворуч)

AU14 - диммер

букцинатор

AU14 - диммер FACS

mouthFrown (ліворуч та праворуч)

AU15 - депресор кута кромки

депресор aguli oris

AU15 - депресор кута губи - FACS - система кодування мімічних дій

mouthLowerDown (ліворуч та праворуч)

AU16 - депресор нижньої губи

депресор нижніх статевих губ

AU16 - депресор нижньої губи - FACS - система кодування мімічних дій

mouthShrugUpper

AU17 - підйомник підборіддя - верхній розріз

вторинний ефект від менталісу

AU17 - підйомник підборіддя в FACS, але підтяжка рота в ARKit

КРИТИЧНА ЗАУВАГАmouthShrugUpper є **ЗАЛЕЖНИМ від mouthShrugLower і застосовується лише тоді, коли губи вже торкаються або будуть торкатися через інтенсивність mouthShrugLower.

Я підтвердив цю відмінність з колишніми співробітниками FaceShift (компанії, яка створила оригінальні форми обличчя, на яких базується ARKit, до того, як Apple викупила їх).

Якщо ви використовуєте ICT-FaceKit, вони привласнили mouthShrugUpper як "підйомник верхньої губи" і неправильно переклали власне "підйомник верхньої губи", mouthUpperUp_L та mouthUpperUp_R як "поглиблювач носогубної борозни".

mouthShrugsLower

AU17 - підйомник підборіддя - нижній розріз

менталіс

AU17 - підйомник підборіддя в FACS, але підйомник рота в ARKit

ДИВІТЬСЯ ВИЩЕ в розділі "Рот і плечі".

cheekPuff

AD34 - затяжка

букцинатор

cheekPuff - ARKit проти AD34 - puff - FACS

mouthPucker

AU18 - морщення губ

incisivus labiae superioris, incsivus labiae inferioris

AU18 - морщення губ (обличчя поцілунку) - FACS - Система кодування мімічних дій

mouthStretch (ліворуч та праворуч)

AU20 - підтяжка для губ

Різорій.

крупний план нижньої частини обличчя жінки, яка розтягує губи

mouthFunnel

AU22 - губова воронка

orbicularis oris

AU22 - воронка для губ - FACS - Система кодування мімічних дій

Натискання рота (ліворуч і праворуч)

AU24 - притискна кромка

orbicularis oris

AU24 - притискач губ - FACS - Система кодування мімічних дій

mouthClose

AU8, але див. примітки в Вичерпний путівник.

orbicularis oris, але див. примітки в Вичерпний посібник.

ARKit mouth close reference AKA FACS AU8 - губи назустріч один одному

mouthRoll (верхній та нижній)

AU28 - губи смокчуть

orbicularis oris

AU28 - губи смокчуть -orbicularis oris - FACS - Система кодування мімічних дій

jawOpen

AU26 - відвисання щелепи або AU27 - розтягування рота

(AU26) розслаблення жувального, скроневого та внутрішнього груднинного м'язів або (AU27) латерального груднинного та надпід'язикового (переднього черевного, геніоїдального та мілопід'язикового) м'язів

AU26 - опускання щелепи - FACS - Система кодування мімічних дій

щелепа (ліва та права)

AD30 - щелепа вбік

птеригоїди та скроневі кістки

AD30 - щелепа вбік - FACS - Система кодування мімічних дій

jawForward

AD29 - щелепна тяга

теригоїди та жувальні м'язи

AD29 - рух щелепи - FACS - Система кодування мімічних дій

** = вказує на надмірне спрощення м'язових корелятів. Наприклад, м'язи, пов'язані з поглядом, набагато складніші, ніж "верхній прямий м'яз = очі дивляться вгору". Скоріше, вони працюють разом у системі відносності. Для цілей цього посібника, однак, рухи співвіднесені з найбільш релевантними та ідеалістичними м'язами.

ІНШІ ПРИМІТКИ

ARKit не вистачає деяких важливих дій для повсякденного самовираження та емоцій. Зокрема, не вистачає FACS-офіційних форм:

  • AU11 - поглиблювач носогубних борозен - малий виличний м'яз
  • AU13 - гострий знімач для губ - levator anguli oris
  • AU23 - підтягувач губ - orbicularis oris
  • AU38 - розширювач ніздрів - дилататор наріс
  • AU39 - ніздрюватий компресор - депресорні перегородки та поперечні носові раковини

Інші відсутні форми:

ДОДАТКОВІ РЕСУРСИ

  • Для отримання додаткових посилань та інформації про FACS (Система кодування мімічних дій), перегляньте Шпаргалка з FACS.

Розроблено для студій та команд

Давайте поговоримо.

facetheFACS@melindaozel.com