Doradztwo w zakresie systemów twarzy

Zespołom tworzącym sztuczną inteligencję twarzy często brakuje systematycznych sposobów oceny zachowania. Nie są w stanie wiarygodnie stwierdzić, który model jest lepszy, dlaczego wyrażenia się psują lub gdzie w potoku powstaje problem. Projektuję ramy ewaluacyjne, które umożliwiają diagnozowanie tych decyzji, obejmujące ocenę stanu modelu, diagnostykę danych, standardy adnotacji i wewnętrzną dokumentację, dzięki której systemy te są użyteczne po moim odejściu.

Ramy, które wnoszę do klientów, opierają się na budowaniu infrastruktury danych twarzy na dużą skalę. W firmie Meta zdefiniowałem standardy adnotacji i protokoły gromadzenia danych stojące za śledzeniem twarzy Quest Pro, zabezpieczając Trzy patenty w dziedzinie animacji awatarów. Od tego czasu opracowałem ramy oceny modeli w Flawless AI i stworzyłem standardy wykrywania ekspresji w Affectiva.

AI / Tech

Żadne dwa potoki sztucznej inteligencji twarzy nie mają takich samych problemów. Zanim cokolwiek zarekomenduję, zaczynam od diagnostyki, aby zrozumieć twoje dane, modele, przypadki użycia i gdzie są luki. Stamtąd zaangażowanie zazwyczaj obejmuje pewną kombinację:

Audyty modeli i danych
Strategia i dokumentacja adnotacji
Ocena i standaryzacja dostawców
Rozwój złotego zestawu
Zautomatyzowane ramy pomiaru wydajności

Zakres i głębokość zależą całkowicie od tego, gdzie jesteś i co próbujesz zbudować.

Animacja

Twarze są złożonymi systemami z wieloma ruchomymi częściami i wieloma osobami interpretującymi je w różny sposób. Kiedy niespójności pojawiają się w różnych postaciach, działach lub potokach, rzadko jest oczywiste, gdzie się zaczęły i jak je naprawić. Wkraczam, gdy zespoły potrzebują zewnętrznego oka z anatomiczną i techniczną głębią, aby zdiagnozować, gdzie rzeczy się psują i zdefiniować ścieżkę naprzód.

Moje recenzje rigów i blendshape'ów nie są po prostu listą poprawek. Każda uwaga jest oparta na anatomii i mechanice mięśni. Drużyny odchodzą rozumiejąc, co i dlaczego należy zmienić oraz jak zastosować to rozumowanie do każdego kolejnego kształtu.

Niektóre projekty nie mają istniejącego podręcznika. Gdy studio potrzebuje systemu twarzy dla kapucynki, szympansa lub postaci sportowej z wymaganiami ROM specyficznymi dla danego przypadku użycia, praca zaczyna się od badań. Badam anatomię, identyfikuję luki i buduję niestandardowy framework od podstaw, iterując z modelowaniem, riggingiem i animacją, dopóki zespół nie będzie w stanie wykonać go niezależnie.