この投稿は、私が様々なトラッキングキットの品質を評価するために作成してきたビデオについてのフォローアップです。ここでは、私がAnimojiで見てきた特定の問題について、より深く掘り下げてみます。

アニモジの笑顔

下の動画では、アニモジが私の笑顔をどのようにミラーリングしているかを見てください。私の笑顔は、眉の内側の角に余計な眉毛の下げがあります。これは、本物の笑顔、不本物の笑顔を問わず、様々なタイプの笑顔に見られます。また、他のユーザーにも同様の現象が見られます。

眉毛の内側が下がり、上唇が盛り上がった状態になる（原因は はなのしわ 或いは うわぐち)は嫌悪感と関連していることが多い。さらに、眉毛を下げることは笑顔と負の相関があります。これらのタイプの意味的に重要なトラッキングミスは、無意識のうちに否定的な感情を表現しています。

 

因果関係

1. エンジニアリングに重点を置きすぎている。データ品質に十分な焦点が当てられていない。
2.  工学に力を入れすぎ。芸術に焦点を当てていない

私が働いてきたどこの会社でも、特定のバックグラウンドを持つエンジニアの採用には、非常に多くの懸念がありました。 人員数は他の重要な役割から取り上げられています。

多くの技術者は、モデルを訓練するのに十分なデータを取得すれば、品質の問題は簡単に解決するだろう、という仮定の下で生活しています。うわー!魔法のようだ。この仮定は、多くの場合、追加の（しかし間違った）仮定の下で動作します。不純なデータはごくわずかな割合しか存在しない。

私はデータの溝に深く入り込み、フェイストラッキングのほぼすべての非エンジニア的な役割を担ってきました。

• データ計画 - 収集する表現データの種類と収集方法の決定
• データ収集 - 実際に参加者と一緒に仕事をして、正しい表現のポーズを打つためのトレーニングをしています。
• データ注釈 - 目印の付け方
• データ分類 - どのクラスが存在すべきか、そのパラメータは何か、そして避けられないエッジケースをどのように処理するかについて、工学系に助言を与える。
• スケーリングアップ - アノテーションや分類のルールが標準化され、マススケールラベラーにもわかりやすくなっているかどうか
• モニタリングトラッキング - 地上の真実と追跡結果の比較
• 改善点の特定 - 何が問題なのか、どのように問題を改善できるのか、計画、収集、アノテーション、分類などの方法を考え出すこと。
• アバター開発 - 優先順位付け
  • トラッカーが失敗したところ
  • 最終的な製品のユースケースは何か
  • 何の美点があるか
  • 何が一番大事か

表現科学と顔の解剖学の技術的背景を持つ者として、誰が 併せて これらすべての機能を果たしています - 私はあなたに伝えるためにここにいます。 フェイストラッキング技術の不純なデータ量は無視できないほどのものです。.要するに - たとえアルゴリズムが完璧であっても - 問題が発生します。

• 不純ポーズデータ
  • 人間の参加者からポーズ表現データを収集する場合、必ずデータが汚染されます。保証されています。
  • ほとんどの人は、すべてのターゲットの表情を当てることはできません。純粋な顔の動きのデータを見つけることは稀です。参加者が不純な表情をする場合、それは間違った表情の動作を表示しているか、ターゲットではない表情筋を追加で使用せずにターゲットの表情を分離できないためです。
  • さらに言うと、データ収集担当者は、参加者が目標とする表現に当たっているかどうかさえ分からないことがよくあります。このような知識の欠如は、データ収集担当者のせいではなく、むしろX社の優先順位の見当違いや、適切な人材の雇用や維持に注意を払わなかったことに起因しています。
• 不良データ表示
  • ほとんどのテック企業は、エンジニアの人材を見つけることに集中しているため、データのラベリングに関連した役割を優先させることを怠っています。その代わりに、ラベリング関連の取り組みは、特別な専門知識を持たない請負業者のための低レベルのポジションとして扱われることが多いです。
  • 経験が浅いうちから始めた契約者は、最終的には専門知識を身につけるためにデータとの調整を十分に行うことができますが、契約書のラベル付けの役割は離職率が高いことが多いため、このようなことはほとんどありません。
• 無学芸道
  • アートが技術を理解し、技術がアートを理解することが重要です。双方の理解を得ることは、十分に強調されていません。アートとエンジニアリングの間には、大きな断絶があることが多い。そのため、「クリエイトテクノロジスト」のような、双方を理解するための役割分担がもっと必要です。
  • 良いトラッカーが良く見えるのは、通常はトラッカー自体のせいではなく、裏で未熟な技術に対抗するために芸術的な選択をしたからです。

に戻る Animoji となぜ私が笑うたびに私の内側の眉毛の角が低くなります。

冒頭で述べたように、アニモジが私の笑顔をミラーリングしようとすると、眉の内側の角を下げるという不必要な動作が発生します。これもまた、本物の笑顔とそうでない笑顔を問わず、様々なタイプの笑顔でこの追加が行われています。

下の図は、データ品質とアートの相互作用が、様々な表現に悪影響を与え、笑顔で眉毛が下がるなどの問題を引き起こす例です。アルゴリズム自体の問題も含め、複数の原因が考えられますが、これは特定の条件を設定したシナリオの概要です。

分解

鼻のシワと上唇の引き上げ は、似ているように見える2つの顔の動作です。

•  これらは、データ収集レベルとデータラベリングレベルの両方で、しばしば互いに混同されています。
• 多くのハイテク企業は、データ品質に必要な投資をしていないため、通常、データ品質の違いを正確に理解したり、説明したりすることができる従業員を配置していないのが現状です。 はなのしわ そして うわぐち.
• データ収集とデータのラベル付けの両方のミスは気づかれず、才能ある人はトラッキングエラーをキャッチできません。

アートでよくあるテクニック（私がアドバイスするのは）は、笑顔のためのコンボシェイプのアドオンとしてアッパーリップレイザーを使用することです。

• リップコーナープラーの動作は、笑顔が激しいときに上唇を持ち上げるため、多くの人がこの動作を同義語としています。 上唇を上げる。 そうではありません。
• 多くのアーティストが使用しているのは うわぐち 合体 リップコーナープラー 強い笑顔を作るために 詳細はこちらをご覧ください。
• この技に強い審美性と精度に基づく問題がなかったとしても、大きな問題があると思います。
  • 上唇レイザーが鼻シワに結びついていると、強い笑顔が始まると上唇レイザーが活性化し、鼻シワが活性化します。そのため、誰かが笑うと眉毛が下がってしまう。悪いことに。

データの品質に十分な注意が払われていない。
芸術には十分な評価が与えられていない。

問題解決

私の投稿に戻ると ビッグテックの均質な雇用の習慣, これらの問題は、トンネルビジョンの少ない採用戦略を取り入れることで軽減することができます。機械学習は、分野を超えた専門知識が必要とされるほどに進歩しています。適切な人材を採用し、人材ニーズについて近視眼的にならないようにしましょう。