Consultoría de sistemas faciales
Los equipos que crean IA facial a menudo carecen de métodos sistemáticos para evaluar el comportamiento. No pueden saber de forma fiable qué modelo es mejor, por qué se rompen las expresiones o dónde se origina un problema en el proceso. Yo diseño marcos de evaluación que permiten diagnosticar esas decisiones y que abarcan la evaluación del estado de los modelos, el diagnóstico de los datos, las normas de anotación y la documentación interna que permite seguir utilizando esos sistemas cuando ya no estoy.
Los marcos que aporto a los clientes proceden de la creación de infraestructuras de datos faciales a gran escala. En Meta, definí las normas de anotación y los protocolos de recopilación en los que se basa el rastreo facial de Quest Pro, asegurando... tres patentes en animación de avatares. Desde entonces, he desarrollado marcos de evaluación de modelos en Flawless AI y construido estándares de detección de expresiones en Affectiva.
IA / Tecnología
No hay dos procesos de IA facial que tengan los mismos problemas. Antes de recomendar nada, empiezo con un diagnóstico, para poder entender sus datos, sus modelos, sus casos de uso y dónde están las lagunas. A partir de ahí, los compromisos suelen implicar alguna combinación de:
- Auditorías de modelos y datos
- Estrategia de anotación y documentación
- Evaluación y normalización de proveedores
- Desarrollo de conjuntos de oro
- Marcos automatizados de medición del rendimiento
El alcance y la profundidad dependen totalmente de dónde te encuentres y de lo que intentes construir.
Animación
Los equipos faciales son sistemas complejos con muchas partes móviles y muchas personas que los interpretan de forma diferente. Cuando aparecen incoherencias entre personajes, departamentos o procesos, rara vez es obvio dónde empezaron o cómo solucionarlas. Yo intervengo cuando los equipos necesitan una mirada externa con la profundidad anatómica y técnica para diagnosticar dónde se rompen las cosas y definir un camino a seguir.
Mis revisiones de rigs y blendshape no son simplemente una lista de correcciones. Cada nota se basa en la anatomía y la mecánica muscular. Los equipos se van entendiendo qué cambiar y por qué, y cómo aplicar ese razonamiento a cada forma que venga después.
Algunos proyectos no tienen un libro de jugadas. Cuando un estudio necesita un sistema facial para un capuchino, un chimpancé o un personaje deportivo con requisitos de ROM específicos para cada caso, el trabajo comienza con la investigación. Investigo la anatomía, identifico las lagunas y construyo un marco personalizado desde cero, iterando con el modelado, el rigging y la animación hasta que el equipo puede ejecutarlo de forma independiente.