フェイシャル・システム・コンサルティング
フェイシャルAIを開発するチームは、しばしば動作を評価する体系的な方法を欠いている。どのモデルが優れているのか、なぜ表情が崩れてしまうのか、パイプラインのどこに問題があるのか、といったことを確実に知ることができないのだ。私は、モデル状態の評価、データ診断、アノテーションの標準、そして私がいなくなった後もシステムを使い続けられる社内文書などを網羅し、これらの決定を診断可能にする評価フレームワークを設計している。.
私がクライアントに提供するフレームワークは、顔データのインフラストラクチャーを大規模に構築することから引き出されたものです。Metaでは、Quest Proの顔追跡の背後にあるアノテーションの標準と収集プロトコルを定義し、顔データの安全性を確保しました。 アバター・アニメーションにおける3つの特許. .それ以来、Flawless AIでモデル評価フレームワークを開発し、Affectivaで表情検出標準を構築してきました。.
AI / テクノロジー
顔AIのパイプラインに同じ問題はありません。何かをお勧めする前に、私はまず診断から始めます。そうすることで、お客様のデータ、モデル、ユースケース、そしてどこにギャップがあるのかを理解することができます。そこから、通常、いくつかの組み合わせを含むエンゲージメントを行います:
- モデル&データ監査
- 注釈戦略と文書化
- ベンダーの評価と標準化
- ゴールドセット開発
- 自動化されたパフォーマンス測定フレームワーク
スコープと深さは、あなたがどこにいて、何を作ろうとしているかに完全に依存する。.
アニメーション
フェイシャルリグは、多くの可動部分があり、多くの人が異なる解釈をする複雑なシステムである。キャラクター、部署、パイプラインにまたがって不一致が忍び寄ったとしても、それがどこから始まったのか、どう修正すればいいのかが明白になることはほとんどありません。チームが解剖学的かつ技術的な深みのある外部の目を必要としているとき、私は物事がどこで壊れているのかを診断し、進むべき道を定義するために参加します。.
私のリグとブレンドシェイプのレビューは、単なる修正点のリストではありません。それぞれの指摘は解剖学と筋肉のメカニズムに基づいたものです。チームの皆さんは、何を変えるべきか、なぜ変えるべきかを理解し、その理由をどのように後のすべてのシェイプに適用するかを理解して帰っていきます。.
プロジェクトによっては、既存のプレイブックがないものもある。スタジオが、オマキザルやチンパンジー、あるいはスポーツ・キャラクターのためのフェイシャル・システムを必要とし、その用途に特化したROM要件がある場合、作業はリサーチから始まります。私は解剖学を調査し、ギャップを特定し、チームが独立して実行できるようになるまでモデリング、リギング、アニメーションを繰り返しながら、カスタムフレームワークをゼロから構築します。.