FACSとディープラーニングで行われていることを比較するとどうでしょうか？

ほとんどのフェイストラッキングや感情トラッキングの会社は、機械学習にFACSを利用しています。彼らはデータパイプラインのマッピングにFACSを使用する。FACSに基づいた表情でデータを収集する。FACSベースの分類でマシンをトレーニングする、などなど。FACSベースのアプローチを使用しない場合でも、技術向上のためのデータの必要性を評価するために、失敗の領域を特定し、伝えるためにFACSは必要です。

顔と音声を用いた機械学習モデルの学習に利用できる既存のFACSデータセットはありますか？

フェイストラッキングの技術に携わった経験から言うと、ほとんどのデータセットが不純物だらけのデータになっています。データを精査し、多くのゴミを一掃する能力が必要でしょう。もしリソースがあるなら、社内でデータ収集とラベリングのシステムを作ることが推奨されます。自社でデータチームを作る場合は、以下をお読みください。 情動追跡のバイアス.

FACSを堅牢に抽出するアプリでお勧めのものはありますか？FACSを抽出するアプリでお勧めのものはありますか？

FACSを抽出するアプリケーションというのが、自動FACS検出器／追跡器という意味であれば、私はノーと言うでしょう。私は、どのアプリケーションも強くお勧めしません。アプリケーションによっては、非常にシンプルで強度の高い表現を検出できるものもありますが、微妙な表現や重層的な表現を検出できないことがよくあります。特に、多くの大手ハイテク企業がデータを軽視しているため、実際に強固なものになるにはまだ時間がかかると思います。続きを読む 此処 そして 此処.

iPhoneは52の表情を持っていますが、良いアニメーションにはそれで十分でしょうか？もしそうでないなら、iPhoneを使ってFACSの形状を増やすにはどうすればいいのでしょうか？

基本的な動きのあるセミスタイリッシュから超スタイリッシュなキャラクターを目指すのでしょうか？もしそうなら、それは問題ないかもしれません。もし、もっとフォトリアルで表情豊かなキャラクターを目指すのであれば、必要なクオリティのレベルには達しないでしょう。しかし、もしあなたが自分のキャラクターにどんなニーズがあるのか、表現力という点で何を達成したいのか、どんなシェイプを追加すれば望むものが得られるのか、教えていただけるのであれば、私は相談に乗ります。facetheFACS@melindaozel.com。

3Dライブアバターがブームになっていますが、表情が乏しいですね。リアルタイムのデジタルヒューマン演技を向上させるには、どうすればいいと思いますか？

これには2つの部分があります。

1. その技術.フェイストラッキングの技術は、私たちの望むところでは十分ではありません。ライブアバターを成功させるには、技術とアートを調和させることで実現できます。トラッキング技術が様々な顔にどのように反応するかを評価するために、広範な研究と観察を行う必要があります。さらに、アバターの目標も評価する必要があります。文脈から、どのような表情が優先されるのか。アバターが使われる状況によって、優先される表情は異なります。

2. アート.技術が思うようにいかなくても、アートで多くをごまかすことができます。アート面によるごまかしは、技術の何がうまくいっていないのか、アバターの表現で何を優先させたいのかが明確になれば、できるようになるのです。Metaにいた頃は、ひたすらデータと向き合い、さまざまな顔に対してこの技術がどのように作用するかを研究しました。その結果、モデラーとの共同作業で、繰り返し発生する問題をアートでカバーすることが可能になりました。アバターがうまく見えるのは、技術的な問題をアートでカバーした結果なのです。

FACSでどのように異なるアクセントをサポートできるのか、また、発音の違いがキャラクターの表情や動きにどのように影響するのか。

音声言語における音の最小単位は、音素と呼ばれる。異なる言語は、異なる音素セットで構成されています。アートやスピーチ技術では、音素は発音時の見た目でグループ分けされます。つまり、音素を発声するときの口の形によってグループ分けされます。このように視覚的にグループ化された音素は、次のように呼ばれます。 ビゼム.B、M、P はそれぞれ異なる音素であるが、私たちがこれらの音を発するとき、唇は基本的に同じ形になる。B、M、P はそれぞれ異なる音素であるが、私たちがこれらの音を発するとき、唇の形は基本的に同じである。したがって、B、M、Pは1つの音素である。FACSの形状は、より細かい部分が欠落しているかもしれないが、視覚的な表現に使用することができる（この回答の最後で説明する）。

アクセントは、同じ単語に異なる音素が適用されたときに発生する。例えば、"car "という単語を考えてみましょう。アメリカ英語ではcarの "a "の発音がイギリス英語と異なるため、アメリカ英語では異なる音素を使用します。さらに、アメリカ英語では "r "を発音しますが、イギリス英語では "r "を発音しません。 

car "はアメリカ英語でもイギリス英語でも同じ意味の単語だが、どちらの英語を使うかによって、発音は異なる音素で構成されている。

FACSシェイプがヴィジームの骨格を作るのに使われ、異なるアクセントで発音される単語が異なる音素で構成されているとすれば、その単語はしばしば異なるヴィジームで構成されていることになる。ヴィジームの公式が変化するということは、同じ単語でもアクセントが異なれば異なるFACSの形状が適用されることを意味する。このように、単語を構成する文字そのものではなく、単語の音声や音素の選択肢を考慮することが非常に重要であることを意味しています。

FACSと音声の主な問題は、顔の表情のメカニズムの外で生成される音素に起因します（例：露舌言語）。さらに、一般的にFACSは、アメリカ英語であっても、音声の形状に関していくつかのミッシングリンクを持っています。この欠落があるからこそ、私は "vertical lip tightener "や "Z-axis dimpler "などのサブアクションユニットを定義しているのです。参照 FACSチートシート をご覧ください)。