Conseil en systèmes faciaux
Les équipes qui développent l'IA faciale manquent souvent de moyens systématiques pour évaluer le comportement. Elles ne peuvent pas dire de manière fiable quel modèle est le meilleur, pourquoi les expressions se cassent, ou d'où vient un problème dans le pipeline. Je conçois des cadres d'évaluation qui permettent de diagnostiquer ces décisions, couvrant l'évaluation de l'état du modèle, les diagnostics de données, les normes d'annotation et la documentation interne qui permet à ces systèmes de rester utilisables après mon départ.
Les cadres que j'apporte aux clients sont issus de la construction d'une infrastructure de données faciales à grande échelle. Chez Meta, j'ai défini les normes d'annotation et les protocoles de collecte qui sous-tendent le suivi des visages de Quest Pro, en sécurisant les données faciales. trois brevets pour l'animation d'avatars. Depuis, j'ai développé des cadres d'évaluation de modèles chez Flawless AI et construit des normes de détection d'expressions chez Affectiva.
IA / Technologie
Il n'y a pas deux pipelines d'IA faciale qui présentent les mêmes problèmes. Avant de recommander quoi que ce soit, je commence par un diagnostic, afin de comprendre vos données, vos modèles, vos cas d'utilisation et les lacunes à combler. À partir de là, les missions impliquent généralement une combinaison des éléments suivants :
- Audits de modèles et de données
- Stratégie d'annotation et documentation
- Évaluation et normalisation des fournisseurs
- Développement d'un jeu d'or
- Cadres automatisés de mesure de la performance
La portée et la profondeur dépendent entièrement de l'endroit où vous vous trouvez et de ce que vous essayez de construire.
Animation
Les grilles faciales sont des systèmes complexes composés de nombreuses pièces mobiles et interprétées différemment par de nombreuses personnes. Lorsque des incohérences apparaissent entre les personnages, les départements ou les pipelines, il est rarement évident de savoir d'où elles viennent ou comment y remédier. J'interviens lorsque les équipes ont besoin d'un regard extérieur avec la profondeur anatomique et technique nécessaire pour diagnostiquer les points de rupture et définir la marche à suivre.
Mes commentaires sur les rigs et les blendshape ne sont pas simplement une liste de correctifs. Chaque note est fondée sur l'anatomie et la mécanique musculaire. Les équipes repartent en sachant ce qu'il faut changer et pourquoi, et comment appliquer ce raisonnement à toutes les formes suivantes.
Certains projets n'ont pas de cahier des charges. Lorsqu'un studio a besoin d'un système facial pour un capucin, un chimpanzé ou un personnage sportif avec des exigences ROM spécifiques à un cas d'utilisation, le travail commence par la recherche. J'étudie l'anatomie, j'identifie les lacunes et je construis un cadre personnalisé à partir de zéro, en itérant avec la modélisation, le rigging et l'animation jusqu'à ce que l'équipe puisse l'exécuter de manière indépendante.