ARKit в FACS: Шпаргалка по Blendshape

Шпаргалка з ARKit для FACS

Ласкаво просимо до шпаргалки ARKit до FACS! Тут ви знайдете розбивку того, як перевести форми обличчя ARKit в еквіваленти Системи кодування мімічних дій (FACS). Через труднощі з розрізненням подібних FACS-фігур, а також через відсутність чітких пояснень у devkit'і від Apple, існує багато помилкових перекладів ARKit у FACS. Будьте обережні. Цей посібник покликаний прояснити плутанину та усунути поширені хибні уявлення!

Прокрутіть вниз, щоб перейти безпосередньо до шпаргалки.

Труднощі з інструментарієм для розробки доповненої реальності

Якщо ви або ваша команда використовуєте набори для відстеження облич з відкритим вихідним кодом, щоб:

  • оживлені обличчя
  • накладати віртуальний контент
  • створювати події на основі виразів
  •  

. ... з'ясування того, що є що, може бути складним завданням, особливо якщо ви або ваша команда не маєте сильного досвіду в цій галузі:

  • міміка
  • відстеження обличчя
  • Система кодування мімічних дій (FACS)
  •  

Нечітко визначені терміни

Набори для розробки програмного забезпечення для відстеження облич (SDK) можуть бути заплутаними з ряду причин. Значною мірою цьому сприяє відсутність детальної документації, доступної для користувачів.

Вираз обличчя людини складний і багатий на нюанси. Розуміння того, як ідентифікувати та аналізувати вираз обличчя, не завжди є простим або інтуїтивним. Незважаючи на це, набори для відстеження обличчя часто надають лише мінімалістичні визначення форм виразу у своїх бібліотеках.

Мінімально визначені форми виразу:

    • створюють простір для неправильної інтерпретації користувачами.
    • підвищують ймовірність того, що користувач переплутає схожі на вигляд фігури.
    • обмежують потенціал користувача щодо ефективного використання продукту.

Як обійти невизначеність

Форми виразу обличчя в більшості продуктів для відстеження обличчя (незважаючи на їхні назви) в основному базуються на FACS. Для тих, хто може бути скептично налаштований: FACS походить від анатомії, тому, якщо тільки набір для відстеження обличчя повністю не знищив основи анатомії людського обличчя, всі форми матимуть FACS-еквіваленти.
Якщо ви хочете краще розуміти продукти для відстеження облич, які ви використовуєте, вам варто ознайомитися з FACS.

Назви FACS стандартизовані. FACS є послідовним. Кожна фігура FACS має детальний, чітко визначений і ретельно досліджений опис. Якщо ви добре знайомі з FACS, ви можете озброїтися інструментами, необхідними для компенсації неоднозначності більшості бібліотек виразів.

Незалежно від того, підковані ви в FACS чи ні, якщо вам потрібна більш чітка розбивка форм виразу обличчя ARKit, цей документ для вас 🙂

Путівник

ШВИДКА ТАБЛИЦЯ

Етикетка ARKit

відповідне ім'я (імена) FACS

відповідний(і) м'яз(и)

посилання

browInnerUp

AU 1 - внутрішній підйомник брів

лобна кістка, медіальна частина

жінка піднімає внутрішню брову

browOuter (ліворуч та праворуч)

AU2 - зовнішній підйомник брів

лобна частина, бічна частина

жінка піднімає зовнішні піки брів

browDown (ліворуч та праворуч)

AU4 - опускання брів

гофрувальник суперіцилій, депресор суперіцилій, процер

жінка сердито супить брови

eyeWide (ліворуч та праворуч)

AU5 - підйомник верхньої кришки

levator palpebrae superioris

крупним планом жінка розширює очі

cheekSquint (ліворуч та праворуч)

AU6 - підйомник для щік

orbicularis oculi, орбітальна частина ока

жінка посміхається очима

eyeSquint (ліворуч та праворуч)

AU7 - затяжка кришки

орбікуляріс ока, пальпебральна частина

крупним планом жінка звужує очі

eyeBlink (ліворуч та праворуч)

AU45 - блимає

розслаблення levator palpebrae superioris та скорочення долонної частини orbicularis oculi

AU45 - моргання - orbicularis oculi - GIF - анімований - Система кодування мімічних дій - FACS

eyeLookUp (ліворуч та праворуч)

M63 - очі вгору

верхній прямий та нижній косий**

eyeLookUp - посилання на ARKit

eyeLookDown (ліворуч та праворуч)

M64 - очі вниз

нижній прямий та верхній косий**

посилання на ARkit

eyeLookIn (ліворуч та праворуч)

AU66 - косоокість (при застосуванні до обох очей одночасно); в іншому випадку eyeLookInLeft повинен бути поєднаний з eyeLookOutRight для погляду вправо (FACS M62), тоді як eyeLookInRight повинен бути поєднаний з eyeLookOutLeft для погляду вліво (FACS M61)

медіальний прямий м'яз**

eyookinleft + eyookinright - перехресний погляд

перехресне око 

eyelookinleft + eyelookoutright - погляд вправо

погляд вправо 

eyeLookOut (ліворуч та праворуч)

AU65 - "судак" (при нанесенні на обидва ока одночасно); див. вище про лівий та правий погляд

бічний прямий м'яз**

посилання FACS зовнішній погляд FACS

судак

ПРИМІТКА: Я не міг зобразити судака по-справжньому, тому я відфотошопив своє праве око на екрані. Не використовуйте це як будь-яке законне посилання, лол. (Ви можете побачити, що внутрішня орбіта ока неприродно змістилася).

eyelookinright + eyelookoutleft - погляд вліво ARKit

погляд вліво

noseSneer (ліворуч та праворуч)

AU9 - зморщувач для носа

levator labii superioris alaeque nasi

AU9 - зморшкуватий ніс - FACS - Система кодування мімічних дій - референс відрази

mouthUpper (ліворуч та праворуч)

AU10 - підйомник верхньої губи

levator labii superioris

AU10 - підйомник верхньої губи - FACS - система кодування мімічних дій

mouthSmile (ліворуч та праворуч)

AU12 - знімач кута кромки

великий виличний м'яз

AU12 - знімач кута губи - FACS - Система кодування мімічних дій

рот (лівий та правий)

Див. примітки в Вичерпний посібник.

Див. примітки в Вичерпний посібник.

mouthleft - посилання на ARKit

mouthDimple (ліворуч та праворуч)

AU14 - диммер

букцинатор

AU14 - диммер FACS

mouthFrown (ліворуч та праворуч)

AU15 - депресор кута кромки

депресор aguli oris

AU15 - депресор кута губи - FACS - система кодування мімічних дій

mouthLowerDown (ліворуч та праворуч)

AU16 - депресор нижньої губи

депресор нижніх статевих губ

AU16 - депресор нижньої губи - FACS - система кодування мімічних дій

mouthShrugUpper

AU17 - підйомник підборіддя - верхній розріз

вторинний ефект від менталісу

AU17 - підйомник підборіддя в FACS, але підтяжка рота в ARKit

КРИТИЧНА ЗАУВАГАmouthShrugUpper є **ЗАЛЕЖНИМ від mouthShrugLower і застосовується лише тоді, коли губи вже торкаються або будуть торкатися через інтенсивність mouthShrugLower.

Я підтвердив цю відмінність з колишніми співробітниками FaceShift (компанії, яка створила оригінальні форми обличчя, на яких базується ARKit, до того, як Apple викупила їх).

Якщо ви використовуєте ICT-FaceKit, вони привласнили mouthShrugUpper як "підйомник верхньої губи" і неправильно переклали власне "підйомник верхньої губи", mouthUpperUp_L та mouthUpperUp_R як "поглиблювач носогубної борозни".

mouthShrugsLower

AU17 - підйомник підборіддя - нижній розріз

менталіс

AU17 - підйомник підборіддя в FACS, але підйомник рота в ARKit

ДИВІТЬСЯ ВИЩЕ в розділі "Рот і плечі".

cheekPuff

AD34 - затяжка

букцинатор

cheekPuff - ARKit проти AD34 - puff - FACS

mouthPucker

AU18 - морщення губ

incisivus labiae superioris, incsivus labiae inferioris

AU18 - морщення губ (обличчя поцілунку) - FACS - Система кодування мімічних дій

mouthStretch (ліворуч та праворуч)

AU20 - підтяжка для губ

Різорій.

крупний план нижньої частини обличчя жінки, яка розтягує губи

mouthFunnel

AU22 - губова воронка

orbicularis oris

AU22 - воронка для губ - FACS - Система кодування мімічних дій

Натискання рота (ліворуч і праворуч)

AU24 - притискна кромка

orbicularis oris

AU24 - притискач губ - FACS - Система кодування мімічних дій

mouthClose

AU8, але див. примітки в Вичерпний путівник.

orbicularis oris, але див. примітки в Вичерпний посібник.

ARKit mouth close reference AKA FACS AU8 - губи назустріч один одному

mouthRoll (верхній та нижній)

AU28 - губи смокчуть

orbicularis oris

AU28 - губи смокчуть -orbicularis oris - FACS - Система кодування мімічних дій

jawOpen

AU26 - відвисання щелепи або AU27 - розтягування рота

(AU26) розслаблення жувального, скроневого та внутрішнього груднинного м'язів або (AU27) латерального груднинного та надпід'язикового (переднього черевного, геніоїдального та мілопід'язикового) м'язів

AU26 - опускання щелепи - FACS - Система кодування мімічних дій

щелепа (ліва та права)

AD30 - щелепа вбік

птеригоїди та скроневі кістки

AD30 - щелепа вбік - FACS - Система кодування мімічних дій

jawForward

AD29 - щелепна тяга

теригоїди та жувальні м'язи

AD29 - рух щелепи - FACS - Система кодування мімічних дій

** = вказує на надмірне спрощення м'язових корелятів. Наприклад, м'язи, пов'язані з поглядом, набагато складніші, ніж "верхній прямий м'яз = очі дивляться вгору". Скоріше, вони працюють разом у системі відносності. Для цілей цього посібника, однак, рухи співвіднесені з найбільш релевантними та ідеалістичними м'язами.

ІНШІ ПРИМІТКИ

ARKit не вистачає деяких важливих дій для повсякденного самовираження та емоцій. Зокрема, не вистачає FACS-офіційних форм:

  • AU11 - поглиблювач носогубних борозен - малий виличний м'яз
  • AU13 - гострий знімач для губ - levator anguli oris
  • AU23 - підтягувач губ - orbicularis oris
  • AU38 - розширювач ніздрів - дилататор наріс
  • AU39 - ніздрюватий компресор - депресорні перегородки та поперечні носові раковини

Інші відсутні форми:

ДОДАТКОВІ РЕСУРСИ

  • Для отримання додаткових посилань та інформації про FACS (Система кодування мімічних дій), перегляньте Шпаргалка з FACS.

Розроблено для студій та команд

Давайте поговоримо.

facetheFACS@melindaozel.com