Raadplegen van gezichtssystemen
Teams die gezichts-AI bouwen, hebben vaak geen systematische manier om gedrag te evalueren. Ze kunnen niet op een betrouwbare manier zeggen welk model beter is, waarom uitdrukkingen breken of waar een probleem in de pijplijn ontstaat. Ik ontwerp evaluatieraamwerken die deze beslissingen diagnosticeerbaar maken, met inbegrip van evaluatie van de modeltoestand, gegevensdiagnostiek, annotatienormen en de interne documentatie die ervoor zorgt dat deze systemen bruikbaar blijven nadat ik er niet meer ben.
De raamwerken die ik bij klanten introduceer zijn gebaseerd op het bouwen van gezichtsdata-infrastructuur op schaal. Bij Meta heb ik de annotatiestandaarden en verzamelprotocollen gedefinieerd achter Quest Pro gezichtsherkenning, het beveiligen van drie patenten in avataranimatie. Sindsdien heb ik raamwerken voor modelevaluatie ontwikkeld bij Flawless AI en expressiedetectiestandaarden gebouwd bij Affectiva.
AI / Technologie
Geen twee facial AI pipelines hebben dezelfde problemen. Voordat ik iets aanbeveel, begin ik met een diagnose, zodat ik inzicht krijg in je gegevens, je modellen, je use cases en waar de hiaten zitten. Van daaruit bestaat een opdracht meestal uit een combinatie van:
- Model- en gegevensaudits
- Annotatiestrategie & documentatie
- Evaluatie en standaardisatie van leveranciers
- Ontwikkeling gouden set
- Geautomatiseerde kaders voor prestatiemeting
Omvang en diepte hangen volledig af van waar je bent en wat je probeert te bouwen.
Animatie
Gezichtsopstellingen zijn complexe systemen met veel bewegende delen en veel mensen die ze verschillend interpreteren. Als er inconsistenties ontstaan tussen personages, afdelingen of pijplijnen, is het zelden duidelijk waar ze zijn begonnen of hoe ze moeten worden opgelost. Ik treed op wanneer teams een externe blik nodig hebben met de anatomische en technische diepgang om vast te stellen waar dingen kapot gaan en een pad voorwaarts te bepalen.
Mijn rig- en blendshape-reviews zijn niet zomaar een lijst met oplossingen. Elke opmerking is gebaseerd op anatomie en spiermechanica. Teams begrijpen wat ze moeten veranderen en waarom, en hoe ze die redenering kunnen toepassen op elke shape die daarna komt.
Voor sommige projecten is er geen bestaand draaiboek. Als een studio een gezichtssysteem nodig heeft voor een kapucijnaap, een chimpansee of een sportpersonage met gebruiksspecifieke ROM-eisen, begint het werk met onderzoek. Ik onderzoek de anatomie, identificeer de hiaten en bouw een op maat gemaakt raamwerk vanaf nul, itererend met modellering, rigging en animatie totdat het team het zelfstandig kan uitvoeren.