So sánh FACS với các phương pháp được sử dụng trong học sâu như thế nào?

Hầu hết các công ty chuyên về theo dõi khuôn mặt và theo dõi cảm xúc đều dựa vào FACS cho học máy. Họ sử dụng FACS để thiết kế quy trình xử lý dữ liệu. Họ thu thập dữ liệu dựa trên các biểu cảm được mã hóa theo FACS. Họ đào tạo mô hình máy học bằng phân loại dựa trên FACS, v.v. Ngay cả khi bạn không sử dụng phương pháp dựa trên FACS, bạn vẫn cần FACS để xác định và thông báo các khu vực gặp vấn đề nhằm đánh giá nhu cầu dữ liệu và cải thiện công nghệ.

Có bất kỳ bộ dữ liệu FACS nào hiện có mà chúng ta có thể sử dụng để đào tạo mô hình học máy với dữ liệu khuôn mặt và giọng nói không?

Dựa trên kinh nghiệm làm việc trong lĩnh vực công nghệ về theo dõi khuôn mặt, hầu hết các bộ dữ liệu đều chứa nhiều dữ liệu không chính xác. Bạn cần phải có khả năng phân tích kỹ lưỡng dữ liệu và loại bỏ nhiều thông tin không cần thiết. Nếu có nguồn lực, việc xây dựng hệ thống thu thập và gắn nhãn dữ liệu nội bộ là điều được khuyến khích. Nếu bạn đang xây dựng đội ngũ dữ liệu của riêng mình, vui lòng đọc Sự thiên vị trong theo dõi cảm xúc.

Bạn có thể đề xuất bất kỳ ứng dụng nào có khả năng trích xuất FACS một cách đáng tin cậy không? Bạn có thể đề xuất bất kỳ ứng dụng nào cho việc trích xuất FACS không?

Nếu bạn đề cập đến ứng dụng trích xuất FACS là một công cụ phát hiện/theo dõi FACS tự động, thì tôi nghĩ là không. Tôi không khuyến nghị mạnh mẽ bất kỳ ứng dụng nào. Một số ứng dụng có thể phát hiện các biểu hiện đơn giản, cường độ cao; tuy nhiên, chúng thường thất bại trong việc phát hiện các biểu hiện tinh tế hoặc phức tạp. Tôi cho rằng chúng ta vẫn còn cách xa một giải pháp thực sự ổn định, đặc biệt là do sự thiếu sót trong việc xử lý dữ liệu của hầu hết các công ty công nghệ hàng đầu. Đọc thêm đây và đây.

iPhone có 52 biểu cảm, liệu điều đó có đủ cho hoạt hình tốt không? Nếu không, làm thế nào để sử dụng iPhone để thêm các hình dạng FACS khác?

Bạn đang hướng đến một nhân vật có phong cách từ bán phong cách đến rất phong cách với các động tác cơ bản? Nếu vậy, điều đó có thể chấp nhận được. Tuy nhiên, nếu bạn muốn tạo ra những nhân vật có độ chân thực cao và biểu cảm, điều đó sẽ không đạt được mức chất lượng mà bạn cần. Với tư cách là người chuyên quan sát và đánh giá, tôi không thể hướng dẫn bạn cách thêm các hình dạng FACS; tuy nhiên, tôi sẵn sàng tư vấn nếu bạn muốn chia sẻ nhu cầu của mình cho các nhân vật / mục tiêu bạn muốn đạt được về mặt biểu cảm / các hình dạng cần thêm để đạt được điều đó: facetheFACS@melindaozel.com

Chúng ta đang chứng kiến sự bùng nổ của các avatar 3D trực tiếp, nhưng chúng còn thiếu rất nhiều biểu cảm khuôn mặt. Theo bạn, chúng ta có thể cải thiện hiệu suất của các nhân vật kỹ thuật số thời gian thực như thế nào?

Có hai phần trong vấn đề này:

1. Công nghệCông nghệ theo dõi khuôn mặt hiện nay chưa đạt đến mức độ hoàn thiện như mong đợi. Để tạo ra các avatar trực tiếp thành công, cần phải kết hợp hài hòa giữa công nghệ và nghệ thuật. Cần tiến hành nghiên cứu và quan sát kỹ lưỡng để đánh giá cách công nghệ theo dõi phản ứng với các khuôn mặt khác nhau. Ngoài ra, mục tiêu của các avatar cũng cần được đánh giá. Dựa trên bối cảnh, biểu cảm nào là ưu tiên? Tùy thuộc vào mục đích sử dụng avatar, các biểu cảm sẽ có mức độ ưu tiên khác nhau.

2. Nghệ thuậtMặc dù công nghệ hiện tại chưa đạt đến mức chúng ta mong muốn, nhưng bạn có thể "giả vờ" nhiều thứ thông qua nghệ thuật. Giả lập thông qua nghệ thuật có thể thực hiện được khi bạn đã có ý tưởng rõ ràng về những gì không hoạt động trong công nghệ và những gì cần ưu tiên cho biểu cảm của avatar. Khi làm việc tại Meta, tôi đã nghiên cứu kỹ lưỡng dữ liệu và phân tích cách công nghệ hoạt động trên các khuôn mặt khác nhau. Khả năng nhận diện những thiếu sót này giúp tôi hợp tác hiệu quả với nhà thiết kế mô hình để che giấu các vấn đề lặp lại thông qua nghệ thuật. Hầu hết các avatar trông thành công đều đạt được nhờ kỹ thuật che giấu vấn đề công nghệ bằng nghệ thuật.

FACS có thể hỗ trợ các giọng điệu khác nhau như thế nào, và cách phát âm khác nhau ảnh hưởng đến biểu cảm khuôn mặt / cử chỉ của các nhân vật được stylize ra sao?

Các đơn vị âm thanh nhỏ nhất có ý nghĩa trong một ngôn ngữ nói được gọi là âm vị. Các ngôn ngữ khác nhau được cấu thành từ các tập hợp âm vị khác nhau. Trong nghệ thuật và công nghệ giọng nói, các âm vị được nhóm lại với nhau dựa trên cách chúng trông như thế nào khi được phát ra. Nói cách khác, các âm vị được nhóm lại với nhau dựa trên hình dạng chung mà miệng chúng ta tạo ra để phát ra chúng. Các âm vị được nhóm lại theo cách này được gọi là visemesMột ví dụ về các âm vị riêng biệt tạo thành một viseme duy nhất là các âm vị môi: B, M và P. Mặc dù B, M và P là các âm vị riêng biệt, nhưng khi phát âm những âm này, môi của chúng ta sẽ có cấu trúc cơ bản giống nhau. Việc phát âm B, M và P trông giống nhau; do đó, B, M và P tạo thành một viseme duy nhất. Các hình dạng FACS có thể được sử dụng để đại diện một cách tổng quát cho một viseme, mặc dù các chi tiết tinh tế có thể bị thiếu (được thảo luận ở phần cuối của câu trả lời này).

Phát âm khác nhau xảy ra khi các âm vị khác nhau được áp dụng cho cùng một từ. Ví dụ, hãy xem xét từ "car". Phiên bản tiếng Anh Mỹ phát âm âm "a" trong "car" khác với phiên bản tiếng Anh Anh; do đó, tiếng Anh Mỹ sử dụng một âm vị khác. Ngoài ra, phiên bản tiếng Anh Mỹ phát âm âm "r" trong khi phiên bản tiếng Anh Anh không phát âm âm này. 

Mặc dù "car" là cùng một từ với cùng một nghĩa trong cả tiếng Anh Mỹ và tiếng Anh Anh, cách phát âm của nó được tạo thành từ các âm vị khác nhau tùy thuộc vào loại tiếng Anh đang được sử dụng.

Nếu các hình dạng FACS được sử dụng để tạo khung xương cho một viseme, và một từ được phát âm với các giọng khác nhau được tạo thành từ các phoneme khác nhau, thì từ đó cũng thường được tạo thành từ các viseme khác nhau. Sự thay đổi công thức viseme có nghĩa là các hình dạng FACS khác nhau có thể được áp dụng cho cùng một từ dưới các giọng khác nhau. Sự phân tách này có nghĩa là rất quan trọng phải xem xét các âm thanh của lời nói và các tùy chọn phoneme của từ – chứ không phải các chữ cái tạo nên chính từ đó.

Các vấn đề chính liên quan đến FACS và giọng nói sẽ xuất phát từ các âm vị được phát ra ngoài cơ chế biểu cảm khuôn mặt – ví dụ như các ngôn ngữ có âm vị họng. Ngoài ra, FACS nói chung còn thiếu một số yếu tố khi nói đến hình dạng giọng nói – ngay cả đối với tiếng Anh Mỹ. Sự thiếu sót này là lý do tại sao tôi đã định nghĩa các đơn vị hành động phụ như “cơ co môi dọc” và “cơ lõm trục y”. (Xem Bảng tóm tắt nhanh FACS (Xem chi tiết.)