Шпаргалка по ARKit для FACS
- Мелинда Озел
- Опубликовано: 1 мая 2022 г.
- Обновлено: 16 февраля 2025 г.
Добро пожаловать в шпаргалку по переводу ARKit в FACS! Здесь вы найдете описание того, как перевести формы лиц из ARKit в их эквиваленты из Facial Action Coding System (FACS). Из-за трудностей с различением похожих форм FACS, а также отсутствия четких объяснений в девките Apple, существует множество ошибочных переводов ARKit в FACS. Остерегайтесь. Это руководство призвано прояснить путаницу и устранить распространенные заблуждения!
Прокрутите страницу вниз, чтобы сразу перейти к шпаргалке.
Трудности с инструментарием для разработки AR
Если вы или ваша команда используют комплекты с открытым исходным кодом для отслеживания лиц:
- живые лица
- наложение виртуального контента
- создавать события на основе экспрессии
. Разобраться, что к чему, может быть непросто - особенно если у вас или вашей команды нет серьезных знаний в этой области:
- мимика
- слежение за лицом
- система кодирования действий лица (FACS)
Нечетко определенные термины
Комплекты для разработки программного обеспечения для отслеживания лиц (SDK) могут быть запутанными по ряду причин. Большой вклад в эту путаницу вносит отсутствие подробной документации, доступной для пользователей.
Выражения лица человека сложны и богаты нюансами. Понимание того, как определять и разбивать выражения, не всегда просто и интуитивно понятно. Несмотря на это, комплекты для отслеживания лиц часто предоставляют лишь минимальные определения для форм выражения в своих библиотеках.
Минимально определенные формы выражения:
- создают возможности для неправильного толкования пользователями.
- увеличивают вероятность того, что пользователь спутает похожие формы.
- ограничивать возможности пользователя по эффективному использованию продукта.
Обойдя двусмысленность
Формы выражения в большинстве продуктов для отслеживания лиц (несмотря на их названия) в основном основаны на FACS. Для тех, кто настроен скептически: FACS берется из анатомии; поэтому, если только набор для отслеживания лиц не уничтожил полностью основы анатомии человеческого лица, все формы будут иметь эквиваленты FACS.
Если вы хотите лучше понимать используемые вами продукты для слежения за лицом, вам следует ознакомиться с FACS.
Название FACS стандартизировано. FACS является последовательным. Каждая форма FACS имеет подробное, четко определенное и тщательно проработанное описание. Если вы хорошо разбираетесь в FACS, вы можете оснастить себя инструментами, необходимыми для компенсации неоднозначности большинства библиотек выражений.
Независимо от того, разбираетесь ли вы в FACS или нет, если вам нужна более четкая разбивка форм выражения лица ARKit, этот документ для вас 🙂 .
Путеводитель
КРАТКАЯ ТАБЛИЦА
Ярлык ARKit
соответствующее имя (имена) FACS
соответствующая мышца (мышцы)
ссылка
browInnerUp
AU 1 - внутренний надбровный дуга
лобная кость, медиальная часть
надбровная дуга (левая и правая)
AU2 - наружный дождеватель бровей
лобная кость, латеральная часть
browDown (слева и справа)
AU4 - лобосец
corrrugator supercilii, depressor supericilii, procerus
eyeWide (слева и справа)
AU5 - дождеватель верхней крышки
леваторное пальповое превосходство
щекаКосая щека (левая и правая)
AU6 - рейзер щек
глазница, орбитальная часть
eyeSquint (левый и правый)
AU7 - затягиватель крышки
круговой глаз, пальпебральная часть
eyeBlink (левый и правый)
AU45 - мигание
расслабление levator palpebrae superioris и сокращение пальпебральной части круговой мышцы глаза
eyeLookUp (слева и справа)
M63 - глаза вверх
верхняя прямая и нижняя косая**
eyeLookDown (слева и справа)
M64 - глаза опущены
нижняя прямая и верхняя косая**
eyeLookIn (слева и справа)
AU66 - перекрестный взгляд (когда применяется к обоим глазам сразу); в противном случае, eyeLookInLeft должен быть сопряжен с eyeLookOutRight для взгляда вправо (FACS M62), а eyeLookInRight должен быть сопряжен с eyeLookOutLeft для взгляда влево (FACS M61)
медиальная прямая мышца**
крестообразный глаз
взгляд вправо
eyeLookOut (слева и справа)
AU65 - кошелек (при одновременном воздействии на оба глаза); см. выше о взгляде влево и вправо
латеральная прямая мышца**
судак
ПРИМЕЧАНИЕ: Я не смог сделать судака по-настоящему, поэтому я отфотошопил свой экранный правый глаз. Не используйте его в качестве какого-либо законного эталона lol. (Вы можете увидеть, как внутренняя глазная орбита неестественно смещается).
взгляд влево
носСнег (слева и справа)
AU9 - устройство для морщин носа
levator labii superioris alaeque nasi
ротВерхний (левый и правый)
AU10 - дождеватель для верхних губ
леваторная лаборатория начальника
ротУлыбка (слева и справа)
AU12 - съёмник для угловых наконечников
скуловая майора
рот (слева и справа)
См. примечания в Исчерпывающее руководство.
См. примечания в Исчерпывающее руководство.
ротДимпл (слева и справа)
AU14 - димплер
букцинатор
ротХмурый (слева и справа)
AU15 - депрессор углового наконечника
depressor aguli oris
ротНижняя часть (слева и справа)
AU16 - депрессор нижней губы
депрессорная болезнь нижних конечностей
ротОбъем плечВерхняя
AU17 - подбородок - верхняя часть
вторичный эффект от менталиса
КРИТИЧЕСКОЕ ЗАМЕЧАНИЕ: mouthShrugUpper является **CONTINGENT ON mouthShrugLower и применяется только тогда, когда губы уже соприкасаются или БУДУТ соприкасаться из-за интенсивности mouthShrugLower.
Я подтвердил это различие с бывшими сотрудниками FaceShift (компании, создавшей оригинальные формы лиц, на основе которых был создан ARKit, до того, как Apple выкупила их).
Если вы используете ICT-FaceKit, то они присвоили mouthShrugUpper как "приподниматель верхней губы" и неправильно перевели настоящие формы "приподнимателя верхней губы", mouthUpperUp_L и mouthUpperUp_R, как "углубление носогубной борозды".
ротОбхват плечамиНижний
AU17 - подбородок - нижняя часть
менталис
См. примечание выше в разделе "Плечики для рта".
cheekPuff
AD34 - затяжка
букцинатор
mouthPucker
AU18 - губная помада
incisivus labii superioris, incsivus labii inferioris
ротРастяжение (слева и справа)
AU20 - растяжка для губ
ризориус
ротФуннель
AU22 - воронка для губ
округлый орбитул
ротПресс (левый и правый)
AU24 - пресс для чистки губ
округлый орбитул
ротЗакрыть
AU8, но см. примечания в Исчерпывающее руководство.
orbicularis oris, но см. примечания в Исчерпывающее руководство.
mouthRoll (верхний и нижний)
AU28 - губы отстой
округлый орбитул
челюстьОткрыть
AU26 - выпадение челюсти или AU27 - растягивание рта
(AU26) расслабление жевательных, височных и внутренних птеригоидных мышц или (AU27) латеральных птеригоидных и супрагиоидных (передних дигастральных, гениогиоидных и милогиоидных) мышц
челюсть (левая и правая)
AD30 - челюсть в сторону
птеригоиды и височная кость
jawForward
AD29 - упор для челюсти
птеригоиды и жевательные мышцы
** = Указывает на чрезмерное упрощение мышечных коррелятов. Например, мышцы, связанные со взглядом, гораздо сложнее, чем "superior rectus = глаза смотрят вверх". Скорее, они работают вместе в системе относительности. Однако для целей данного руководства движения сопоставляются с наиболее релевантными и идеальными мышцами.
ДРУГИЕ ПРИМЕЧАНИЯ
В ARKit отсутствуют некоторые важные действия для повседневного выражения и эмоций. Отсутствующие ФАКС-официальные формы включают:
- AU11 - нозолабиальный бороздоуборочный комбайн - скуловой отросток
- AU13 - острый съёмник губы - levator anguli oris
- AU23 - подтяжка губ - orbicularis oris
- AU38 - расширитель ноздрей - расширитель нариса
- AU39 - компресс для ноздрей - depressor septi & transverse nasalis
Другие недостающие формы:
- вертикальный натяжитель губы - орбикулярис орис - *Подробнее см. шпаргалку FACS.
ДОПОЛНИТЕЛЬНЫЕ РЕСУРСЫ
- Для получения дополнительной информации о системе FACS (Facial Action Coding System) посетите сайт шпаргалка FACS.
- Ознакомьтесь с моим постом о сотрудничестве с дизайнером изделий Пуа Деперсон: Окончательное руководство по созданию 52 блендшейпов для лица в ARKit! Это руководство (большая благодарность Pooya) наполнено наглядными примерами, которые наглядно демонстрируют функции блендшейпов для лица в ARKit.
изучите больше бесплатного контента
