Jak srovnáváte FACS s tím, co se dělá v hlubokém učení?

Většina společností zabývajících se sledováním obličeje a emocí se při strojovém učení spoléhá na systém FACS. Pomocí systému FACS mapují své datové kanály. Sbírají data s výrazy na bázi FACS. Trénují své stroje pomocí klasifikace založené na FACS atd. I když nepoužíváte přístup založený na FACS, stále potřebujete FACS k identifikaci a sdělení oblastí selhání, abyste mohli posoudit potřeby dat pro zlepšení techniky.

Existují nějaké existující soubory dat FACS, které bychom mohli použít k trénování modelu strojového učení s obličejem a řečí?

Z toho, co jsem viděl při práci na sledování obličeje, vyplývá, že většina datových souborů je plná nečistých dat. Museli byste být schopni data důkladně prozkoumat a vyčistit od spousty smetí. Pokud máte zdroje, doporučuje se vytvořit vlastní systémy sběru dat a označování. Pokud vytváříte vlastní týmy pro práci s daty, přečtěte si následující informace Předpojatost při sledování emocí.

Doporučujete nějaké aplikace, které robustně extrahují FACS? Můžete doporučit nějakou aplikaci pro extrakci FACS?

Pokud aplikací, která extrahuje FACS, myslíte automatický detektor / sledovač FACS - řekl bych, že ne. Žádnou aplikaci důrazně nedoporučuji. Některé aplikace dokáží detekovat velmi jednoduché výrazy s vysokou intenzitou; často však selhávají při detekci jemných nebo vrstevnatých výrazů. Myslím, že k něčemu skutečně robustnímu máme ještě daleko, zejména kvůli zanedbávání dat ze strany většiny předních technologických společností. Čtěte více zde a zde.

iPhony mají 52 výrazů, stačí to na dobrou animaci? Pokud ne, jak pomocí iPhonu přidat další tvary FACS?

Chcete vytvořit polostylizovanou až velmi stylizovanou postavu se základními pohyby? Pokud ano, mohlo by to být v pořádku. Pokud vám jde o fotorealističtější a expresivnější postavy, nedostanete se s ním na úroveň kvality, kterou budete potřebovat. Jako někdo, kdo je spíše na straně pozorování a kritiky, bych vám nemohl říct, jak udělat přidání více tvarů FACS; jsem však k dispozici pro konzultaci, pokud byste mi chtěli říct, jaké máte potřeby pro své postavy / čeho chcete dosáhnout z hlediska expresivity / jaké tvary byste mohli potřebovat přidat, abyste dosáhli toho, co chcete: facetheFACS@melindaozel.com.

Prožíváme boom 3D živých avatarů, ale chybí jim spousta výrazů obličeje. Jak si myslíte, že můžeme zlepšit digitální lidské vystupování v reálném čase?

To má dvě části:

1. Technika. Technologie sledování obličeje není zcela na úrovni, na které bychom ji chtěli mít. Úspěšných živých avatarů lze dosáhnout sladěním techniky s uměním. Je třeba provést rozsáhlý výzkum a pozorování, aby bylo možné posoudit, jak technologie sledování reaguje na různé tváře. Kromě toho je třeba vyhodnotit cíle avatarů. Jaké výrazy jsou na základě kontextu prioritní? V závislosti na situacích, pro které jsou avataři používáni, budou mít různé výrazy různou úroveň priority.

2. Umění. I když technika není tam, kde bychom ji chtěli mít, můžete ji prostřednictvím umění hodně předstírat. Předstírat to prostřednictvím výtvarné stránky lze, jakmile máte jasnou představu o tom, co v technice nefunguje a čemu chcete dát přednost při vyjadřování avatara. Když jsem byl v Metě, intenzivně jsem pracoval s daty a studoval, jak se technologie chová na různých tvářích. Schopnost identifikovat tyto nedostatky mi umožnila efektivně spolupracovat s modelářem a maskovat opakující se problémy prostřednictvím výtvarné stránky. Nejúspěšněji vypadajících avatarů se dosahuje díky umění maskujícímu problémy s technikou.

Jak lze pomocí systému FACS podporovat různé přízvuky a jaký vliv mají různé výslovnosti na mimiku/pohyby stylizovaných postav?

Nejmenší smysluplné zvukové jednotky v mluveném jazyce se nazývají fonémy. Různé jazyky se skládají z různých sad fonémů. V umělecké a řečové technice se fonémy seskupují podle toho, jak vypadají, když jsou vytvářeny. Jinými slovy, fonémy jsou seskupeny podle obecných tvarů, které naše ústa vytvářejí při jejich produkci. Tyto vizuálně seskupené fonémy se označují jako visemes. Příkladem odlišných fonémů, které tvoří jeden vid, jsou bilabiální hlásky: Přestože B, M a P jsou odlišné fonémy, naše rty mají při vydávání těchto zvuků v podstatě stejnou konfiguraci. Produkce hlásek B, M a P vypadá stejně, proto B, M a P tvoří jeden vid. Tvary FACS lze použít k hrubému znázornění vidu, ačkoli mohou chybět jemnější detaily (o nich se hovoří na konci této odpovědi).

Přízvuky vznikají, když se na stejné slovo použijí různé fonémy. Vezměme si například slovo "auto". Americká verze angličtiny vyslovuje "a" ve slově car jinak než britská verze angličtiny; americká angličtina tedy používá jiný foném Navíc americká verze angličtiny vyslovuje "r", zatímco britská verze angličtiny nikoli. 

Ačkoli slovo "car" má v americké i britské angličtině stejný význam, jeho výslovnost se skládá z různých fonémů v závislosti na tom, která angličtina se používá.

Pokud se k vytvoření kostry vidu používají tvary FACS a slovo vyslovované s různými přízvuky se skládá z různých fonémů, pak se toto slovo také často skládá z různých vidů. Různý vzorec vidu znamená, že na stejná slova s různým přízvukem lze použít různé tvary FACS. Toto členění znamená, že je velmi důležité brát v úvahu zvuky řeči a fonematické možnosti slov - nikoli písmena, která tvoří samotná slova.

Hlavní problémy s FACS a řečí budou pramenit z fonémů produkovaných mimo mechaniku mimiky obličeje - např. z guturálních jazyků. Kromě toho má FACS obecně několik chybějících článků, pokud jde o tvary řeči - dokonce i pro americkou angličtinu. Tento nedostatek je důvodem, proč jsem definoval dílčí akční jednotky jako "vertikální stahovač rtů" a "dimpler osy Z". (Viz. Tahák FACS pro podrobnosti.)