Poradenství v oblasti obličejových systémů
Týmům, které vyvíjejí AI pro rozpoznávání obličejů, často chybí systematické postupy pro hodnocení chování. Nedokážou spolehlivě určit, který model je lepší, proč dochází k selhání rozpoznávání výrazů nebo kde v procesním řetězci problém vzniká. Navrhuji hodnotící rámce, které umožňují tyto problémy diagnostikovat. Zahrnují hodnocení stavu modelu, diagnostiku dat, standardy anotace a interní dokumentaci, díky níž budou tyto systémy funkční i po mém odchodu.
Rámce, které klientům nabízím, vycházejí z mých zkušeností s budováním rozsáhlé infrastruktury pro zpracování dat o obličeji. Ve společnosti Meta jsem definoval standardy anotace a protokoly sběru dat, na nichž je založeno sledování obličeje v zařízení Quest Pro, čímž jsem zajistil tři patenty v oblasti animace avatarů. Od té doby jsem vyvinul rámce pro vyhodnocování modelů ve společnosti Flawless AI a vytvořil standardy pro detekci výrazů ve společnosti Affectiva.
Umělá inteligence / Technika
Žádné dvě potrubí pro umělou inteligenci obličeje nemají stejné problémy. Než něco doporučím, začnu diagnostikou, abych pochopil vaše data, modely, případy použití a nedostatky. Odtud se obvykle zapojí nějaká kombinace:
- Audity modelů a dat
- Strategie anotace a dokumentace
- Hodnocení a standardizace prodejců
- Vývoj zlaté sady
- Automatizované rámce pro měření výkonu
Rozsah a hloubka závisí výhradně na tom, kde se nacházíte a co se snažíte vybudovat.
Animace
Obličejové soupravy jsou složité systémy s mnoha pohyblivými částmi a mnoha lidmi, kteří je interpretují různě. Když se nesrovnalosti objeví napříč postavami, odděleními nebo produktovody, málokdy je zřejmé, kde začaly nebo jak je napravit. Přicházím, když týmy potřebují pohled zvenčí s anatomickou a technickou hloubkou, aby mohly diagnostikovat, kde se co porouchalo, a definovat cestu vpřed.
Moje recenze platformy a blendshape nejsou pouhým seznamem oprav. Každá poznámka je založena na anatomii a svalové mechanice. Týmy odcházejí s tím, že chápou, co a proč změnit, a jak tuto argumentaci aplikovat na každý následující tvar.
Některé projekty nemají existující příručku. Když studio potřebuje obličejový systém pro kapucína, šimpanze nebo sportovní postavu se specifickými požadavky na ROM, začíná práce výzkumem. Prozkoumám anatomii, zjistím nedostatky a od základu vytvořím vlastní rámec, iteruji s modelováním, riggingem a animací, dokud tým není schopen samostatného provedení.