なぜ多くのフェイストラッカーやアバターが眉毛の偽陽性低下に悩まされるのか？AppleのARKitをケーススタディに、この問題の根本を探り、最後に驚くほど簡単な修正方法を明らかにする。 

アバター＆スマイルメモ帳エディション

顔トラッキングやアバターアニメーションにおいて、眉毛の位置の誤認識は広く見られる問題です。微妙ではありますが、このようなエラーはアバターの表情を歪め、悲しみ、怒り、心配などの意図しない合図をもたらします。下のビデオでは、AppleのMemojiをストレステストして、この問題が実際に起きていることを実証しています。

上のクリップで、私のメモ帳がどのように私の笑顔を「映し出す」かを観察してみてください。何か奇妙なことや不快なことにお気づきだろうか？私の眉尻が誤って下がっている。誤って眉尻が下がっていることは、さまざまなタイプの笑顔で見られます。これは他のユーザーにも見られます。

眉毛の内側が下がり、上唇が盛り上がった状態になる（原因は はなのしわ 或いは うわぐち)はしばしば不快な感情と関連している。眉尻が下がっていることも笑顔と負の相関がある。このような意味的に重要なトラッキングミスは、意図せずネガティブな感情を暗示する可能性があります。

このようなミスはなぜ起こるのか

眉毛の偽陽性低下は、多くの場合、データの質の問題、ラベリングの誤り、芸術的な選択に起因する。このような問題が後を絶たない理由はここにある：

1. データの質に十分な焦点が当てられていない。
2. アートに十分な焦点が当てられていない。

私が働いてきたどこの会社でも、特定のバックグラウンドを持つエンジニアの採用には、非常に多くの懸念がありました。 人員数は他の重要な役割から取り上げられています。

多くの技術系リードは、モデルを訓練するのに十分なデータを取得すれば、品質に関する問題は自然に解決すると考えている。すごい！マジックだ。この仮定はしばしば、不純なデータはごくわずかな割合しか存在しないという（しかし誤った）信念のもとで運用される。

私はデータの塹壕に深く入り込み、顔追跡におけるエンジニアリング以外のほとんどすべての職務をこなしてきた：

• データ計画 - 収集する表現データの種類と収集方法の決定
• データ収集 - 実際に参加者と一緒に仕事をして、正しい表現のポーズを打つためのトレーニングをしています。
• データ注釈 - 目印の付け方
• データ分類 - どのクラスが存在すべきか、そのパラメータは何か、そして避けられないエッジケースをどのように処理するかについて、工学系に助言を与える。
• スケーリングアップ - アノテーションや分類のルールが標準化され、マススケールラベラーにもわかりやすくなっているかどうか
• モニタリングトラッキング - 地上の真実と追跡結果の比較
• 改善点の特定 - 何が問題なのか、どのように問題を改善できるのか、計画、収集、アノテーション、分類などの方法を考え出すこと。
• アバター開発 - 優先順位付け
  • トラッカーが失敗したところ
  • 最終的な製品のユースケースは何か
  • 何の美点があるか
  • 何が一番大事か

表現科学、顔面解剖学、そして顔データに関する広範な仕事のバックグラウンドを持つ私は、不純なデータは顔トラッキングにおいて小さな問題ではなく大きな問題であると自信を持って言うことができる。要するに、アルゴリズムが完璧であっても、以下のような問題が生じるのだ：

不純なポーズデータ

• 人間の参加者からポーズ表現データを収集する場合、必ずデータが汚染されます。保証されています。
• ほとんどの人は、すべてのターゲットの表情を当てることはできません。純粋な顔の動きのデータを見つけることは稀です。参加者が不純な表情をする場合、それは間違った表情の動作を表示しているか、ターゲットではない表情筋を追加で使用せずにターゲットの表情を分離できないためです。
• さらに言えば、データ収集担当者は、参加者が目標表現に当たっているかどうかさえ分からないことが多い。このような知識の欠如は、データ収集担当者のせいではなく、むしろX社の誤った優先順位と、適切な人材の雇用や維持に対する注意不足のせいである。

悪いデータのラベリング

• エンジニアリングの人材に過度の注目が集まっているため、企業は通常、データ・ラベリングの役割の優先順位を軽視している。その代わりに、アノテーション作業は、特定の専門知識を持たない契約社員向けの低レベルのポジションとして扱われることが多い。
• しかし、一般的に契約ラベルの役割は離職率が高いため、このようなことはめったに起こらない。

無知な芸術の選択

• アートが技術を理解し、技術がアートを理解することが重要だ。技術系企業では、アートとエンジニアリングの間に驚くほどの断絶がある。多くの場合、優れたトラッカーが良く見えるのは、トラッカー自体のためではなく、舞台裏で未熟な技術に対抗するためになされた芸術的な選択のためである。アートとエンジニアリングのギャップを埋めるために、より多くのリソースが投入されるべきだ。

メモ帳と眉毛を下げる偽陽性に戻る

この記事の冒頭で述べたように、メモ帳が私の笑顔を映そうとするときはいつも、眉尻を下げるという不必要な追加をする。繰り返すが、この追加はさまざまなタイプの笑顔で持続する。

下のグラフは、データ品質とアートの相互作用が、さまざまな表現に否定的な影響を与え、笑顔で眉毛が下がるなどの問題を引き起こす例である。

ノート:もちろん、アルゴリズム自体に問題がある場合も含め、複数の原因が考えられるが、この概要は、特定の条件下での特定のシナリオを強調するために作成されている。