Як ви порівнюєте FACS з тим, що робиться в глибокому навчанні?

Більшість компаній, що займаються відстеженням облич та емоцій, покладаються на FACS для машинного навчання. Вони використовують FACS для планування своїх конвеєрів даних. Вони збирають дані за допомогою виразів на основі FACS. Вони навчають свої машини класифікації на основі FACS тощо. Навіть якщо ви не використовуєте підхід на основі FACS, він все одно потрібен для виявлення та повідомлення про області збоїв, щоб оцінити потреби в даних для вдосконалення технології.

Чи існують якісь існуючі набори даних FACS, які ми могли б використати для навчання моделі машинного навчання з обличчям та мовою?

З того, що я бачив, працюючи з технологіями відстеження облич, більшість наборів даних пронизані нечистими даними. Вам потрібно вміти ретельно перевіряти дані і вичищати багато сміття. Якщо у вас є ресурси, рекомендується створити власну систему збору та маркування даних. Якщо ви створюєте власні команди для роботи з даними, будь ласка, прочитайте Упередженість у відстеженні емоцій.

Чи можете ви порекомендувати програми, які надійно витягують FACS? Чи можете ви порекомендувати програму для вилучення FACS?

Якщо під додатком, який витягує FACS, ви маєте на увазі автоматизований детектор/трекер FACS, то я б сказав, що ні. Я не рекомендую жодних програм. Деякі програми можуть виявляти дуже прості, високоінтенсивні вирази; однак вони часто не можуть виявити тонкі або багаторівневі вирази. Я думаю, що ми ще дуже далекі від того, щоб створити щось дійсно надійне, особливо через недбале ставлення до даних більшості провідних технологічних компаній. Читати далі тут. і тут..

iPhone має 52 вирази, чи достатньо цього для хорошої анімації? Якщо ні, то як ви використовуєте iPhone, щоб додати більше FACS-фігур?

Ви хочете створити напівстилізованого або дуже стилізованого персонажа з базовими рухами? Якщо так, то це може бути нормально. Якщо ви хочете створити більш фотореалістичних і виразних персонажів, то це не дозволить вам досягти необхідного рівня якості. Як людина, яка більше займається спостереженням і критикою, я не можу підказати вам, як додати більше форм FACS; однак я готовий проконсультувати вас, якщо ви розповісте мені, які потреби у вас є щодо персонажів, чого ви хочете досягти в плані виразності, які форми вам можуть знадобитися, щоб отримати бажаний результат: facetheFACS@melindaozel.com

Ми переживаємо бум 3D-аватарів у реальному часі, але їм бракує виразу обличчя. Як, на вашу думку, ми можемо покращити цифрові людські перформанси в реальному часі?

Тут є дві частини:

1. Техніка. Технологія відстеження обличчя ще не до кінця розвинена, як ми того хочемо. Успішні живі аватари можна створити, гармонізуючи технологію з мистецтвом. Необхідно провести широкі дослідження і спостереження, щоб оцінити, як технологія відстеження реагує на різні обличчя. Крім того, необхідно оцінити цілі, які переслідують аватари. Виходячи з контексту, які вирази є пріоритетними? Залежно від ситуації, в якій використовуються аватари, різні вирази матимуть різний рівень пріоритетності.

2. Мистецтво. Навіть якщо технологія не є такою, як ми хотіли б, ви можете багато чого підробити за допомогою мистецтва. Імітувати це за допомогою мистецтва можна лише тоді, коли ви маєте чітке уявлення про те, що не працює в технології, і що ви хочете зробити пріоритетним для вираження ваших аватарів. Коли я працював у Meta, я інтенсивно працював з даними і вивчав, як технологія працює на різних обличчях. Вміння виявляти ці недоліки дозволило мені ефективно працювати з модельєром, щоб замаскувати повторювані проблеми за допомогою мистецтва. Більшість успішних аватарів досягаються завдяки художньому маскуванню технічних проблем.

Як FACS може підтримувати різні акценти, і як різні вимови впливають на вираз обличчя / рухи стилізованих персонажів?

Найменші значущі одиниці звуку в розмовній мові називаються фонемами. Різні мови складаються з різних наборів фонем. У мистецтві та техніці мовлення фонеми групуються за тим, як вони виглядають, коли їх вимовляють. Іншими словами, фонеми групуються разом на основі загальних форм, які формує наш рот, щоб їх вимовити. Ці візуально згруповані фонеми називаються віземи. Прикладом різних фонем, які утворюють одну візему, є білабіальні звуки: Б, М і П. Хоча Б, М і П є різними фонемами, коли ми вимовляємо ці звуки, наші губи набувають по суті однакової конфігурації. Вимова Б, М і П виглядає однаково, отже, Б, М і П складають одну візему. Форми FACS можна використовувати для грубого представлення віземи, хоча дрібні деталі можуть бути відсутніми (це обговорюється в кінці відповіді).

Наголос виникає, коли до одного й того ж слова застосовуються різні фонеми. Наприклад, візьмемо слово "car". Американський варіант англійської мови вимовляє "a" у слові car інакше, ніж британський; отже, американська англійська використовує іншу фонему Крім того, американський варіант англійської мови вимовляє "r", тоді як британський варіант не вимовляє. 

Хоча "car" - це одне й те саме слово з однаковим значенням в американській та британській англійській, його вимова складається з різних фонем, залежно від того, яка англійська використовується.

Якщо форми FACS використовуються для створення скелета віземи, а слово, яке вимовляється з різними наголосами, складається з різних фонем, то це слово також часто складається з різних візей. Формула змінної віземи означає, що до одних і тих самих слів з різними наголосами можна застосувати різні форми FACS. Така розбивка означає, що дуже важливо враховувати звуки мови та фонематичні варіанти слів, а не літери, з яких складаються слова.

Основні проблеми з FACS і мовленням виникають через фонеми, що утворюються поза механізмом міміки, наприклад, у гортанних мовах. Крім того, FACS загалом має кілька прогалин, що стосуються форм мовлення, навіть для американської англійської мови. Ця прогалина є причиною, чому я визначив такі підодиниці дії, як “вертикальне стискання губ” і “вигин по осі Y”. (Див. Шпаргалка з FACS за подробицями).