Консалтинг по лицевым системам
Команды, создающие лицевой ИИ, часто не имеют систематических способов оценки поведения. Они не могут достоверно сказать, какая модель лучше, почему выражения ломаются или где в конвейере зарождается проблема. Я разрабатываю системы оценки, которые делают эти решения диагностируемыми, включая оценку состояния модели, диагностику данных, стандарты аннотаций и внутреннюю документацию, которая позволяет поддерживать эти системы в рабочем состоянии после моего ухода.
Основы, которые я использую при работе с клиентами, были получены при создании масштабной инфраструктуры данных о лицах. В компании Meta я определил стандарты аннотации и протоколы сбора данных для отслеживания лиц Quest Pro, обеспечив Три патента в области анимации аватаров. С тех пор я разрабатывал системы оценки моделей в Flawless AI и создавал стандарты обнаружения экспрессии в Affectiva.
ИИ / Технологии
У двух конвейеров искусственного интеллекта для лица нет одинаковых проблем. Прежде чем что-то рекомендовать, я начинаю с диагностики, чтобы понять ваши данные, ваши модели, ваши сценарии использования и где есть пробелы. После этого, как правило, начинается работа с некоторым сочетанием следующих этапов:
- Аудит моделей и данных
- Стратегия аннотирования и документация
- Оценка и стандартизация поставщиков
- Разработка золотого набора
- Автоматизированные системы измерения производительности
Масштаб и глубина полностью зависят от того, где вы находитесь и что пытаетесь построить.
Анимация
Риги лица - сложная система с множеством движущихся частей и множеством людей, интерпретирующих их по-разному. Когда возникают несоответствия между персонажами, отделами или конвейерами, редко бывает очевидно, где они начались и как их исправить. Я прихожу, когда командам нужен взгляд со стороны, обладающий анатомической и технической глубиной, чтобы диагностировать, где что-то сломалось, и определить дальнейший путь.
Мои обзоры ригов и блендшейпов - это не просто список исправлений. Каждое замечание основано на анатомии и мышечной механике. Команды уходят, понимая, что и почему нужно изменить, и как применить эти рассуждения к каждой последующей фигуре.
У некоторых проектов нет готового сценария. Если студии нужна система лица для капуцина, шимпанзе или спортивного персонажа с требованиями к ROM, специфичными для каждого конкретного случая, работа начинается с исследования. Я изучаю анатомию, выявляю пробелы и создаю индивидуальный каркас с нуля, итерируя моделирование, риггинг и анимацию до тех пор, пока команда не сможет выполнить работу самостоятельно.