Консультування по системам догляду за обличчям
Командам, які створюють штучний інтелект обличчя, часто бракує систематичних способів оцінювати поведінку. Вони не можуть достовірно сказати, яка модель краща, чому вирази ламаються або де виникає проблема в процесі розробки. Я розробляю фреймворки оцінювання, які дозволяють діагностувати ці рішення, охоплюючи оцінку стану моделі, діагностику даних, стандарти анотацій та внутрішню документацію, яка забезпечує працездатність цих систем після мого відходу.
Фреймворки, які я пропоную клієнтам, взяті з досвіду побудови масштабної інфраструктури даних про обличчя. У Meta я визначив стандарти анотацій та протоколи збору даних, що лежать в основі Quest Pro для відстеження облич, забезпечивши три патенти на анімацію аватарів. З того часу я розробив фреймворки для оцінки моделей у Flawless AI та створив стандарти виявлення експресії в Affectiva.
ШІ / Технології
Не існує двох однакових конвеєрів штучного інтелекту, які мають однакові проблеми. Перш ніж щось рекомендувати, я починаю з діагностики, щоб зрозуміти ваші дані, моделі, сценарії використання та прогалини. Звідси, завдання, як правило, включають певну комбінацію:
- Аудит моделі та даних
- Стратегія анотування та документація
- Оцінка та стандартизація постачальників
- Розробка золотого набору
- Автоматизовані системи вимірювання продуктивності
Обсяг і глибина повністю залежать від того, де ви перебуваєте і що намагаєтеся побудувати.
Анімація
Лицьові установки - це складні системи з багатьма рухомими частинами і багатьма людьми, які інтерпретують їх по-різному. Коли невідповідності проникають між персонажами, відділами або конвеєрами, рідко буває очевидно, де вони почалися і як їх виправити. Я приходжу тоді, коли командам потрібен сторонній погляд з анатомічною та технічною глибиною, щоб діагностувати, де щось ламається, і визначити подальший шлях.
Мої огляди тренажерів і блендшейпів - це не просто список виправлень. Кожна порада ґрунтується на анатомії та механіці м'язів. Команди виходять з тренінгу з розумінням того, що і чому потрібно змінити, і як застосувати ці міркування до кожної наступної форми.
Деякі проекти не мають готового сценарію. Коли студії потрібна система обличчя для капуцина, шимпанзе або спортивного персонажа з особливими вимогами до ПЗП, робота починається з дослідження. Я вивчаю анатомію, визначаю прогалини та створюю кастомний фреймворк з нуля, ітерації з моделюванням, оснащенням та анімацією доти, доки команда не зможе виконувати роботу самостійно.