Wie vergleichen Sie FACS mit dem, was beim Deep Learning gemacht wird?

Die meisten Unternehmen, die sich mit der Erfassung von Gesichtern und Emotionen beschäftigen, nutzen FACS für das maschinelle Lernen. Sie verwenden FACS, um ihre Datenpipelines abzubilden. Sie sammeln Daten mit FACS-basierten Ausdrücken. Sie trainieren ihre Maschinen mit FACS-basierter Klassifizierung, usw. Selbst wenn Sie keinen FACS-basierten Ansatz verwenden, benötigen Sie FACS, um Fehler zu identifizieren und zu kommunizieren, damit Sie den Datenbedarf zur Verbesserung der Technologie einschätzen können.

Gibt es bestehende FACS-Datensätze, die wir zum Trainieren eines maschinellen Lernmodells mit Gesicht und Sprache verwenden könnten?

Nach dem, was ich bei meiner Arbeit in der Technik im Bereich der Gesichtserkennung gesehen habe, sind die meisten Datensätze mit unsauberen Daten gespickt. Sie müssten in der Lage sein, die Daten zu prüfen und eine Menge Müll zu bereinigen. Wenn Sie über die nötigen Ressourcen verfügen, empfiehlt es sich, interne Datenerfassungs- und Kennzeichnungssysteme zu entwickeln. Wenn Sie Ihre eigenen Datenteams aufbauen wollen, lesen Sie bitte Voreingenommenheit bei der Emotionserfassung.

Können Sie eine Anwendung empfehlen, die FACS zuverlässig extrahiert? Können Sie eine Anwendung für die FACS-Extraktion empfehlen?

Wenn Sie mit einer Anwendung, die FACS extrahiert, einen automatischen FACS-Detektor/Tracker meinen, würde ich nein sagen. Ich empfehle keine der Anwendungen ausdrücklich. Einige Anwendungen können sehr einfache, hochintensive Ausdrücke erkennen, aber sie versagen oft bei der Erkennung subtiler oder vielschichtiger Ausdrücke. Ich denke, wir sind noch weit entfernt von etwas, das wirklich robust ist, vor allem aufgrund der Nachlässigkeit der meisten führenden Technologieunternehmen in Bezug auf Daten. Mehr lesen hier und hier.

iPhones haben 52 Ausdrücke, ist das genug für eine gute Animation? Wenn nicht, wie kann man ein iPhone verwenden, um weitere FACS-Formen hinzuzufügen?

Willst du eine halb stilisierte bis sehr stilisierte Figur mit einfachen Bewegungen? Wenn ja, könnte das in Ordnung sein. Wenn Sie eher fotorealistische und ausdrucksstarke Charaktere wollen, erreichen Sie damit nicht das Qualitätsniveau, das Sie benötigen. Als jemand, der mehr auf der Beobachtungs- und Kritikseite der Dinge steht, kann ich Ihnen nicht sagen, wie Sie mehr FACS-Formen hinzufügen können; ich stehe jedoch für eine Beratung zur Verfügung, wenn Sie mir sagen möchten, welche Anforderungen Sie an Ihre Figuren haben / was Sie in Bezug auf die Ausdruckskraft erreichen wollen / welche Formen Sie möglicherweise hinzufügen müssen, um das zu erreichen, was Sie wollen: facetheFACS@melindaozel.com

3D-Live-Avatare haben Hochkonjunktur, aber es fehlen ihnen viele Gesichtsausdrücke. Wie können wir Ihrer Meinung nach digitale menschliche Darbietungen in Echtzeit verbessern?

Es gibt zwei Teile:

1. Die Technik. Die Technik der Gesichtserkennung ist noch nicht ganz da, wo wir sie haben wollen. Erfolgreiche Live-Avatare können durch die Harmonisierung der Technik mit der Kunst erreicht werden. Es müssen umfangreiche Untersuchungen und Beobachtungen durchgeführt werden, um zu beurteilen, wie die Tracking-Technologie auf verschiedene Gesichter reagiert. Außerdem müssen die Ziele der Avatare evaluiert werden. Welche Gesichtsausdrücke sind je nach Kontext vorrangig? Je nach den Situationen, in denen die Avatare eingesetzt werden, haben verschiedene Gesichtsausdrücke unterschiedliche Priorität.

2. Die Kunst. Auch wenn die Technik noch nicht da ist, wo wir sie haben wollen, kann man viel davon durch Kunst vortäuschen. Man kann es durch die Kunst vortäuschen, wenn man eine klare Vorstellung davon hat, was bei der Technologie nicht funktioniert und was man bei den Avatarausdrücken priorisieren möchte. Als ich bei Meta war, habe ich mich intensiv mit den Daten beschäftigt und untersucht, wie die Technologie bei verschiedenen Gesichtern funktioniert. Da ich in der Lage war, diese Unzulänglichkeiten zu erkennen, konnte ich effektiv mit einem Modellierer zusammenarbeiten, um wiederkehrende Probleme durch die künstlerische Seite zu überdecken. Die meisten erfolgreich aussehenden Avatare werden dadurch erreicht, dass die Kunst die technischen Probleme überdeckt.

Wie können unterschiedliche Akzente von FACS unterstützt werden und wie wirken sich unterschiedliche Aussprachen auf die Mimik/Bewegungen von stilisierten Figuren aus?

Die kleinsten sinnvollen Lauteinheiten in einer gesprochenen Sprache werden Phoneme genannt. Verschiedene Sprachen bestehen aus unterschiedlichen Phonemgruppen. In der Kunst und der Sprachtechnologie werden Phoneme danach gruppiert, wie sie aussehen, wenn sie produziert werden. Mit anderen Worten: Phoneme werden auf der Grundlage der allgemeinen Formen, die unsere Münder bei ihrer Produktion bilden, in Gruppen zusammengefasst. Diese visuell gruppierten Phoneme werden bezeichnet als visemes. Ein Beispiel für unterschiedliche Phoneme, die ein einziges Visem bilden, sind die bilabialen Laute: B, M und P. Obwohl B, M und P unterschiedliche Phoneme sind, nehmen unsere Lippen bei der Produktion dieser Laute im Wesentlichen die gleiche Form an. Die Produktion von B, M und P sieht gleich aus; daher bilden B, M und P ein einziges Visem. FACS-Formen können verwendet werden, um ein Visem grob darzustellen, obwohl feinere Details fehlen können (wird am Ende dieser Antwort besprochen).

Akzente entstehen, wenn verschiedene Phoneme auf dasselbe Wort angewendet werden. Nehmen wir zum Beispiel das Wort "Auto". Die amerikanische englische Version spricht das "a" in car anders aus als die britische englische Version; daher verwendet das amerikanische Englisch ein anderes Phonem. 

Obwohl "Auto" im amerikanischen und im britischen Englisch das gleiche Wort mit der gleichen Bedeutung ist, setzt sich seine Aussprache aus verschiedenen Phonemen zusammen, je nachdem, welches Englisch verwendet wird.

Wenn FACS-Formen verwendet werden, um das Skelett eines Visems zu erstellen, und ein Wort, das mit verschiedenen Akzenten ausgesprochen wird, aus verschiedenen Phonemen besteht, dann besteht dieses Wort oft auch aus verschiedenen Visemen. Die unterschiedliche Visem-Formel bedeutet, dass unterschiedliche FACS-Formen auf dieselben Wörter mit unterschiedlichen Akzenten angewendet werden können. Diese Aufschlüsselung bedeutet, dass es sehr wichtig ist, die Sprachlaute und phonemischen Optionen von Wörtern zu berücksichtigen - und nicht die Buchstaben, aus denen die Wörter selbst bestehen.

Die größten Probleme mit FACS und Sprache ergeben sich bei Phonemen, die außerhalb der Mechanik des Gesichtsausdrucks produziert werden - z.B. bei gutturalen Sprachen. Außerdem hat FACS im Allgemeinen ein paar Lücken, wenn es um Sprachformen geht - sogar für amerikanisches Englisch. Aus diesem Grund habe ich Unteraktionseinheiten wie "vertical lip tightener" und "Z-axis dimpler" definiert. (Siehe FACS-Spickzettel für Details).