Как вы сравниваете FACS с тем, что делается в глубоком обучении?

Большинство компаний, занимающихся отслеживанием лиц и эмоций, полагаются на FACS для машинного обучения. Они используют FACS для составления схемы конвейеров данных. Они собирают данные с помощью FACS-выражений. Они обучают свои машины с помощью классификации на основе FACS и т.д. Даже если вы не используете подход, основанный на FACS, вам все равно нужен FACS для выявления и передачи информации об областях неудач, чтобы оценить потребности в данных для улучшения технологии.

Существуют ли какие-либо существующие наборы данных FACS, которые мы могли бы использовать для обучения модели машинного обучения с использованием лица и речи?

Из того, что я видел, работая в сфере технологий по отслеживанию лиц, большинство наборов данных изобилуют нечистыми данными. Вам нужно уметь тщательно анализировать данные и очищать их от мусора. Если у вас есть ресурсы, рекомендуется создать собственные системы сбора и маркировки данных. Если вы создаете свои собственные команды по сбору данных, пожалуйста, прочитайте Предвзятость при отслеживании эмоций.

Можете ли вы порекомендовать какие-либо приложения, которые надежно извлекают FACS? Можете ли вы порекомендовать какое-либо приложение для извлечения FACS?

Если под приложением, которое извлекает FACS, вы имеете в виду - автоматический детектор/трекер FACS - я бы сказал "нет". Я не рекомендую никаких приложений. Некоторые приложения могут обнаружить очень простые, высокоинтенсивные выражения; однако они часто не могут обнаружить тонкие или многослойные выражения. Я думаю, что нам еще далеко до чего-то действительно надежного, особенно из-за небрежного отношения к данным большинства ведущих технологических компаний". Читать далее здесь и здесь.

iPhone имеет 52 выражения, достаточно ли этого для хорошей анимации? Если нет, то как можно использовать iPhone для добавления большего количества форм FACS?

Вы собираетесь создать полустилизованного или очень стилизованного персонажа с базовыми движениями? Если да, то это может быть хорошо. Если вы хотите получить более фотореалистичных и выразительных персонажей, это не позволит вам достичь необходимого уровня качества. Как человек, который больше наблюдает и критикует, я не могу сказать вам, как добавить больше форм FACS; однако, я доступен для консультаций, если вы хотите рассказать мне, какие потребности у вас есть для ваших персонажей / чего вы хотите достичь в плане выразительности / какие формы вам нужно добавить, чтобы получить то, что вы хотите: facetheFACS@melindaozel.com.

Мы переживаем бум живых 3D-аватаров, но им не хватает выражения лица. Как, по-вашему, мы можем улучшить цифровые человеческие представления в реальном времени?

Здесь есть две части:

1. Техника. Технология отслеживания лица еще не до конца освоена. Успешные живые аватары могут быть сделаны путем гармонизации технологии с искусством. Необходимо провести обширные исследования и наблюдения, чтобы оценить, как технология отслеживания реагирует на разные лица. Кроме того, необходимо оценить цели аватаров. Исходя из контекста, какие выражения являются приоритетными? В зависимости от ситуаций, в которых будут использоваться аватары, разные выражения будут иметь разный уровень приоритета.

2. Искусство. Даже если техника находится не там, где нам хотелось бы, вы можете подделать многое из этого с помощью искусства. Подделать его с помощью искусства можно, когда у вас есть четкое представление о том, что не работает в технологии и что вы хотите сделать приоритетным для выражения лица аватара. Когда я работал в Meta, я интенсивно работал с данными и изучал, как технология работает на разных лицах. Умение выявлять эти недостатки позволяло мне эффективно работать с модельером, чтобы замаскировать повторяющиеся проблемы с помощью художественной стороны. Самые удачные аватары получаются, когда искусство маскирует технические проблемы.

Как различные акценты могут поддерживаться FACS, и как различные произношения влияют на мимику и движения стилизованных персонажей?

Наименьшие значимые звуковые единицы в разговорном языке называются фонемами. Разные языки состоят из разных наборов фонем. В искусстве и технике речи фонемы группируются по тому, как они выглядят при произнесении. Другими словами, фонемы группируются по общим формам, которые образует наш рот при их произнесении. Эти визуально сгруппированные фонемы называются visemes. Примером отдельных фонем, образующих единую висему, являются билабиальные звуки: В, М и Р. Хотя В, М и Р - это разные фонемы, когда мы произносим эти звуки, наши губы принимают практически одинаковую конфигурацию. Произнесение Б, М и П выглядит одинаково, поэтому Б, М и П составляют одну висему. Формы FACS могут быть использованы для грубого представления висемы, хотя более тонкие детали могут быть упущены (обсуждаются в конце этого ответа).

Акценты возникают, когда к одному и тому же слову применяются разные фонемы. Например, рассмотрим слово "car". В американском варианте английского языка буква "a" в слове "car" произносится иначе, чем в британском; следовательно, в американском английском используется другая фонема Кроме того, в американском варианте английского языка произносится буква "r", а в британском - нет. 

Хотя "car" - это одно и то же слово с одинаковым значением как в американском, так и в британском английском, его произношение состоит из разных фонем в зависимости от того, какой английский используется.

Если формы FACS используются для создания скелета висемы, а слово, произносимое с разным ударением, состоит из разных фонем, то это слово также часто состоит из разных висем. Различная формула висемы означает, что к одним и тем же словам под разными ударениями могут применяться различные формы FACS. Это означает, что очень важно учитывать звуки речи и фонематические варианты слов - а не буквы, из которых состоят сами слова.

Основные проблемы с FACS и речью будут связаны с фонемами, произносимыми вне механики выражения лица - например, в гортанных языках. Кроме того, FACS в целом имеет несколько недостающих звеньев, когда дело доходит до форм речи - даже для американского английского. Именно поэтому я определил такие суб-единицы действия, как "вертикальное подтягивание губ" и "димплер оси Z". (См. шпаргалка FACS подробнее).