Rådgivning om ansiktssystem

Team som bygger ansikts-AI saknar ofta systematiska sätt att utvärdera beteendet. De kan inte på ett tillförlitligt sätt säga vilken modell som är bättre, varför uttryck går sönder eller var ett problem uppstår i pipelinen. Jag utformar utvärderingsramverk som gör att dessa beslut kan diagnostiseras, vilket omfattar utvärdering av modelltillstånd, datadiagnostik, annoteringsstandarder och den interna dokumentationen som håller dessa system användbara efter att jag är borta.

De ramverk jag tar med mig till kunderna kommer från att bygga infrastruktur för ansiktsdata i stor skala. På Meta definierade jag annoteringsstandarderna och insamlingsprotokollen bakom Quest Pro-ansiktsspårning, säkrade tre patent inom avataranimering. Sedan dess har jag utvecklat ramverk för modellutvärdering på Flawless AI och byggt standarder för uttrycksdetektering på Affectiva.

AI / Teknik

Det finns inte två AI-pipelines för ansiktsbehandling som har samma problem. Innan jag rekommenderar något börjar jag med en diagnostik, så att jag kan förstå dina data, dina modeller, dina användningsfall och var luckorna finns. Därifrån involverar engagemang vanligtvis någon kombination av:

Modell- och datagranskningar
Annoteringsstrategi och dokumentation
Utvärdering och standardisering av leverantörer
Utveckling av gulduppsättning
Automatiserade ramverk för prestationsmätning

Omfattning och djup beror helt och hållet på var du befinner dig och vad du försöker bygga.

Animation

Ansiktsriggar är komplexa system med många rörliga delar och många människor som tolkar dem på olika sätt. När inkonsekvenser smyger sig på mellan olika karaktärer, avdelningar eller pipelines är det sällan uppenbart var de började eller hur de ska åtgärdas. Jag kommer in när teamen behöver ett utomstående öga med anatomiskt och tekniskt djup för att diagnostisera var saker och ting går sönder och definiera en väg framåt.

Mina rigg- och blendshape-recensioner är inte bara en lista med fixar. Varje notering är grundad i anatomi och muskelmekanik. Teamen går iväg och förstår vad de ska ändra och varför, och hur de ska tillämpa det resonemanget på varje form som kommer efter.

Vissa projekt har inte en befintlig spelbok. När en studio behöver ett ansiktssystem för en kapucin, en schimpans eller en sportkaraktär med ROM-krav som är specifika för användningsfallet börjar arbetet med research. Jag undersöker anatomin, identifierar luckorna och bygger ett anpassat ramverk från grunden, itererar med modellering, riggning och animering tills teamet kan utföra arbetet självständigt.