見えないものを追跡する

私は長年フェイストラッキングに携わってきましたが、技術者や研究者の間では、「顔のランドマーク（眉、目、口などの特徴）がカメラの視野から外れるとトラッキングできない」という迷信がありました。しかし、これはあながち間違いではありません。眉毛を見なくても、眉毛が上がっているか下がっているかはわかりますし、鼻を見なくても、鼻にしわが寄っているかどうかはわかります。

私たちの顔は、顔の動作ごとにユニークな膨らみ、伸び、シワになっています。私はこれらの変化を利用して、肌の動きだけで離散的な表情を認識し、正確に分類するために、ラベラーのトレーニングを行ってきました。よく指示されたドキュメント、包括的な例のセット、および高品質のカメラを使用すると、限られた視野で情報の境界を外挿することができます。

アイトラッキングに必要な最小の視野は、ほんの一握りのアクションをトラッキングするのに十分な場合が多いです。視野A（下の画像セット）は、視線ベースのトラッカービューがどのように見えるかを最も反映しています。アイトラッキングカメラの主な目的は、視線の変化を観察するのに十分なだけの目をカバーすることですが、その可能性ははるかに大きいです。このように集中した視界でも、以下のようなことが検出できます。 上蓋上げ (au5)を利用しています。 頬上げ (AU6)と 蓋締め (AU7）を比較的高い確度で見ることができます。これらの動作は、注意、反応、関与を測定する用途に有用であり、また、コミュニケーションにおける重要なシグナルでもある。

のようなアクションユニット名でブロックされてしまう人も少なくありません。 頬上げ と仮定して、「追跡できない 頬上げ "私たちの視野は頬の部分をカバーしていないから"しかし 頬上げ は、その名の通り、目の周りの筋肉である眼輪筋が収縮することで起こる動作です。眼輪筋の動きは、頬にも影響を与えますが、実際には目頭の部分で多くの変化が起きています。目尻の余白や、下まぶたの下の皮膚の切れ端があれば、その有無を判断することができます。 頬上げ が発生しています。似たような概念は、私が下の画像に挙げた他の行動にも当てはまります。 

異なるFOVでの機能

この図は、様々な視野で検出可能なアクションユニット(AUs)を示しています。 これは、異なるFOVで可能なこと、不可能なことの内訳を要約したものであることを覚えておいてください。 (下顔やコンビネーションシェイプの予測について知りたい場合は ご相談に応じます。.)カメラの角度やヘッドセットの顔へのかかり方など、その他の要素によっても条件は変わります。(ヘッドセットは重いか？その重さや圧迫感が顔の各部位にどのように影響するか) 

インヘッドセットの顔追跡に取り組むなら、思い込みで可能性を制限されないようにしましょう。顔は複雑で、手がかりがたくさんあります。あなたがすべきことは、適切な手がかりを見つけることだけで、少しのことから多くのことを成し遂げることができます。