Theo dõi những gì bạn không thể nhìn thấy

Trong suốt thời gian làm việc trong lĩnh vực theo dõi khuôn mặt, tôi đã nhận thấy một quan niệm sai lầm phổ biến trong giới kỹ sư và nhà nghiên cứu rằng không thể theo dõi các điểm đặc trưng trên khuôn mặt (như lông mày, mắt và miệng) khi chúng nằm ngoài khung hình camera. Quan niệm này không hoàn toàn chính xác. Bạn không cần nhìn thấy lông mày để biết nó đang nhướng lên hay nhíu lại, và bạn cũng không cần nhìn thấy mũi để biết khi nào nó đang nhăn lại.

Khuôn mặt của chúng ta phồng lên, kéo dài và nhăn nheo theo cách riêng biệt với mỗi cử động khuôn mặt. Tôi đã sử dụng những thay đổi này để đào tạo các nhãn dán nhận diện và phân loại chính xác các biểu cảm riêng biệt chỉ dựa trên chuyển động của da. Với tài liệu hướng dẫn chi tiết, bộ dữ liệu mẫu toàn diện và camera chất lượng cao, bạn có thể mở rộng giới hạn thông tin thu được ngay cả khi góc nhìn (FOV) hạn chế.

Góc nhìn tối thiểu (FOV) cần thiết cho theo dõi chuyển động mắt thường đủ để theo dõi một số hành động cơ bản. Góc nhìn A (trong bộ hình ảnh bên dưới) là góc nhìn điển hình nhất của một hệ thống theo dõi dựa trên ánh mắt. Mặc dù mục tiêu chính của camera theo dõi chuyển động mắt là ghi lại đủ vùng mắt để quan sát sự thay đổi hướng nhìn, tiềm năng của nó còn lớn hơn nhiều. Ngay cả với góc nhìn tập trung này, bạn vẫn có thể phát hiện Thiết bị nâng mí mắt trên (AU5), Người khiến người khác phải ngạc nhiên (AU6), và Nắp đậy kín (AU7) với mức độ chắc chắn tương đối cao. Các hành động này hữu ích cho các ứng dụng trong đo lường sự chú ý, phản ứng và mức độ tương tác; chúng cũng là tín hiệu quan trọng trong giao tiếp.

Nhiều người gặp khó khăn với tên các đơn vị hành động như Người khiến người khác phải ngạc nhiên và giả định rằng, "Chúng ta không thể theo dõi" Người khiến người khác phải ngạc nhiên "Bởi vì góc nhìn (FOV) của chúng tôi không bao phủ khu vực má." Nhưng Người khiến người khác phải ngạc nhiên Không chỉ đơn giản như tên gọi, đó là một hành động được gây ra bởi sự co thắt của cơ orbicularis oculi, một cơ bao quanh vùng mắt. Mặc dù các chuyển động của cơ orbicularis oculi có ảnh hưởng đến má, nhưng nhiều thay đổi thực sự xảy ra trong vùng hốc mắt. Miễn là bạn có thể nhìn thấy một phần nhỏ của góc mắt hoặc một dải da nhỏ dưới mí mắt dưới, bạn có thể xác định được liệu... Người khiến người khác phải ngạc nhiên Đang xảy ra. Các khái niệm tương tự cũng áp dụng cho các hành động khác mà tôi đã liệt kê trong các hình ảnh bên dưới. 

Khả năng với các trường nhìn (FOV) khác nhau

Biểu đồ này cho thấy các đơn vị hành động (AUs) có thể phát hiện được với các trường nhìn khác nhau. Lưu ý rằng đây là bản tóm tắt ngắn gọn về những gì có thể hoặc không thể thực hiện được với các góc nhìn (FOV) khác nhau. (Nếu bạn muốn tìm hiểu về dự đoán cho khuôn mặt dưới và các hình dạng kết hợp, Tôi sẵn sàng tư vấn..) Điều kiện có thể thay đổi tùy thuộc vào các yếu tố bổ sung như góc quay camera và cách tai nghe được đặt trên khuôn mặt. (Tai nghe có nặng không? Trọng lượng và áp lực của nó ảnh hưởng như thế nào đến các vùng khác nhau trên khuôn mặt?) 

Nếu bạn đang làm việc với công nghệ theo dõi khuôn mặt trong tai nghe, đừng để những giả định hạn chế tiềm năng của bạn. Khuôn mặt là một cấu trúc phức tạp và chứa đựng nhiều manh mối. Tất cả những gì bạn cần làm là tìm ra những manh mối đúng, và bạn có thể đạt được nhiều điều từ những điều nhỏ bé.