Verfolgen, was Sie nicht sehen können

Während meiner jahrelangen Arbeit im Bereich der Gesichtsverfolgung habe ich den Aberglauben unter Ingenieuren und Forschern beobachtet, dass man keine Gesichtsmerkmale (Merkmale wie Augenbrauen, Augen und Mund) verfolgen kann, wenn sie außerhalb des Kamerablicks liegen. Dieser Glaube ist nicht ganz richtig. Man muss eine Augenbraue nicht sehen, um zu wissen, ob sie sich hebt oder runzelt, und man muss die Nase nicht sehen, um zu wissen, ob sie Falten wirft.

Unsere Gesichter wölben, dehnen und falten sich bei jeder Gesichtsbewegung auf einzigartige Weise. Ich habe diese Veränderungen genutzt, um Labeler zu trainieren, die diskrete Ausdrücke allein anhand der Hautbewegung erkennen und genau klassifizieren können. Mit einer gezielten Dokumentation, einem umfassenden Satz von Beispielen und einer hochwertigen Kamera können Sie mit einem begrenzten FOV eine Vielzahl von Informationen extrapolieren.

Das minimale FOV, das für Eye-Tracking erforderlich ist, reicht oft aus, um eine Handvoll Aktionen zu verfolgen. Ansicht A (im Bildsatz unten) spiegelt am besten wider, wie eine blickbasierte Tracker-Ansicht aussehen kann. Obwohl das Hauptziel von Eye-Tracking-Kameras darin besteht, gerade genug vom Auge abzudecken, um Blickänderungen zu beobachten, ist das Potenzial viel größer. Selbst mit dieser konzentrierten Ansicht können Sie noch erkennen Oberlideranhebung (AU5), Wangenerhöhung (AU6), und Deckelspanner (AU7) mit einem relativ hohen Grad an Gewissheit. Diese Aktionen sind nützlich für ihre Anwendungen bei der Messung von Aufmerksamkeit, Reaktionen und Engagement; sie sind auch entscheidende Signale in der Kommunikation.

Viele Leute werden durch Namen von Aktionseinheiten blockiert wie Wangenerhöhung und vermuten: "Wir können nicht verfolgen Wangenerhöhung weil unser FOV nicht den Wangenbereich abdeckt." Aber Wangenerhöhung ist mehr als sein Name verrät; es ist eine Aktion, die durch die Kontraktion des Orbicularis oculi, eines Muskels, der den Augenbereich umgibt, verursacht wird. Während sich die Bewegungen des Orbicularis oculi auf die Wangen auswirken, finden viele Veränderungen tatsächlich im Bereich der Augenhöhle statt. Solange Sie einen Randblick auf die Augenwinkel oder einen Hautfetzen unter dem unteren Augenlid haben, können Sie feststellen, ob Wangenerhöhung auftritt. Ähnliche Konzepte gelten für die anderen Aktionen, die ich in den Bildern unten aufgeführt habe. 

Fähigkeiten mit unterschiedlichen FOVs

Diese Grafik zeigt, welche Aktionseinheiten (AUs) mit verschiedenen Sichtfeldern erkannt werden können. Denken Sie daran, dass dies eine verkürzte Aufschlüsselung dessen ist, was mit verschiedenen FOVs möglich ist oder nicht. (Wenn Sie sich über Vorhersagen für niedrigere Gesichts- und Kombinationsformen informieren möchten, Ich bin für Beratungen verfügbar.) Die Bedingungen ändern sich aufgrund zusätzlicher Faktoren wie dem Kamerawinkel und der Art und Weise, wie das Headset auf dem Gesicht aufliegt. (Ist das Headset schwer? Wie wirken sich sein Gewicht und sein Druck auf verschiedene Bereiche des Gesichts aus?) 

Wenn Sie an In-Headset-Face-Tracking arbeiten, lassen Sie sich nicht durch Annahmen einschränken. Das Gesicht ist kompliziert und voller Anhaltspunkte. Alles, was Sie tun müssen, ist, die richtigen Anhaltspunkte zu finden, und Sie können mit wenig eine Menge erreichen.