Консалтинг за фацијалне системе

Тимови који развијају AI за препознавање лица често немају систематске начине за процену понашања. Не могу поуздано да утврде који модел је бољи, зашто изразе не препознаје, или где у току обраде настаје проблем. Дизајнирам оквире за евалуацију који омогућавају дијагностиковање тих одлука, обухватајући процену стања модела, дијагностику података, стандарде за анотацију и интерну документацију која чини те системе употребљивим и након мог одласка.

Оквири које доносим клијентима произилазе из изградње инфраструктуре података о лицу у великом обиму. У Мети сам дефинисао стандарде анотације и протоколе прикупљања који стоје иза праћења лица на Quest Pro, обезбеђујући три патента у аватар анимацији. Од тада сам развио оквире за процену модела у Flawless AI и успоставио стандарде за детекцију израза у Affectiva.

ВИ / Технологија

Не постоје два AI рада за лице која имају исте проблеме. Пре него што било шта предложим, почињем са дијагностиком како бих разумео ваше податке, ваше моделе, ваше случајеве употребе и где су празнине. Одатле ангажмани обично укључују неку комбинацију следећег:

Аудитирања модела и података
Стратегија анотације и документација
Оцењивање добављача и стандардизација
Златни сет за развој
Аутоматизовани оквири за мерење перформанси

Опсег и дубина у потпуности зависе од тога где се налазите и шта покушавате да изградите.

Анимација

Фацијални ригови су сложени системи са многим покретним деловима и многим људима који их тумаче на различите начине. Када се неконзистентности појаве међу ликовима, одељењима или у радној процедури, ретко је очигледно где су настале или како их отклонити. Ја ступам када тимовима треба спољни поглед са анатомском и техничком дубином да би се утврдило где ствари не функционишу и дефинисао пут напред.

Моје рецензије модела и blendshape-ова нису само списак исправки. Свака белешка је заснована на анатомији и механици мишића. Тимови након тога разумеју шта треба променити, зашто и како ту логику применити на сваки наредни облик.

Неки пројекти немају постојећи приручник. Када студио треба систем за лице за капучина, шимпанза или спортски лик са специфичним захтевима за РОМ у зависности од случаја употребе, рад почиње истраживањем. Истражујем анатомију, идентификујем празнине и градивим прилагођени оквир од нуле, итеративно моделујући, ригујући и анимирајући док тим не буде могао самостално да ради.