Consultoría de sistemas faciales
Los equipos que desarrollan IA facial suelen carecer de métodos sistemáticos para evaluar el comportamiento. No pueden determinar con certeza qué modelo es mejor, por qué fallan las expresiones o dónde se origina un problema en el proceso. Yo diseño marcos de evaluación que permiten diagnosticar esas decisiones, abarcando la evaluación del estado de los modelos, el diagnóstico de datos, los estándares de anotación y la documentación interna que garantiza que esos sistemas sigan siendo utilizables una vez que yo ya no esté.
Los marcos de trabajo que ofrezco a los clientes se basan en mi experiencia en la creación de infraestructuras de datos faciales a gran escala. En Meta, definí los estándares de anotación y los protocolos de recopilación que sustentan el seguimiento facial del Quest Pro, garantizando tres patentes en animación de avatares. Desde entonces, he desarrollado marcos de evaluación de modelos en Flawless AI y he creado estándares de detección de expresiones en Affectiva.
IA / Tecnología
No hay dos procesos de IA facial que tengan los mismos problemas. Antes de recomendar nada, empiezo por un diagnóstico, para poder entender sus datos, sus modelos, sus casos de uso y dónde están las deficiencias. A partir de ahí, los proyectos suelen incluir una combinación de:
- Auditorías de modelos y datos
- Estrategia de anotación y documentación
- Evaluación y estandarización de proveedores
- Desarrollo del conjunto de oro
- Marcos automatizados de medición del rendimiento
El alcance y la profundidad dependen totalmente de dónde te encuentres y de lo que estés tratando de construir.
Animación
Los rigs faciales son sistemas complejos con muchas partes móviles y muchas personas que los interpretan de manera diferente. Cuando surgen inconsistencias entre personajes, departamentos o procesos, rara vez es obvio dónde comenzaron o cómo solucionarlas. Intervengo cuando los equipos necesitan una perspectiva externa con los conocimientos anatómicos y técnicos necesarios para diagnosticar dónde están los problemas y definir el camino a seguir.
Mis revisiones de rig y blendshape no son simplemente una lista de correcciones. Cada nota se basa en la anatomía y la mecánica muscular. Los equipos salen entendiendo qué cambiar, por qué y cómo aplicar ese razonamiento a cada forma que venga después.
Algunos proyectos no cuentan con un manual de instrucciones. Cuando un estudio necesita un sistema facial para un capuchino, un chimpancé o un personaje deportivo con requisitos de ROM específicos para cada caso, el trabajo comienza con la investigación. Investigo la anatomía, identifico las deficiencias y construyo un marco personalizado desde cero, repitiendo el proceso de modelado, rigging y animación hasta que el equipo puede ejecutarlo de forma independiente.