Tại sao nhiều công cụ theo dõi khuôn mặt và avatar lại gặp phải vấn đề nhầm lẫn khi phát hiện nếp nhăn trên trán? Bằng cách phân tích trường hợp của Apple's ARKit, bài phân tích này đi sâu vào nguyên nhân gốc rễ của vấn đề và tiết lộ một giải pháp đơn giản đến bất ngờ ở phần kết. 

Avatar & Biểu tượng cảm xúc: Phiên bản Memoji

Sai sót "giảm trán giả" là một vấn đề phổ biến trong công nghệ theo dõi khuôn mặt và hoạt hình avatar. Mặc dù khá tinh tế, những lỗi này có thể làm biến dạng biểu cảm của avatar, gây ra các tín hiệu không mong muốn như buồn bã, giận dữ hoặc lo lắng. Trong video dưới đây, tôi đã thử nghiệm tính năng Memoji của Apple để minh họa vấn đề này trong thực tế.

Trong đoạn video trên, hãy quan sát cách Memoji của tôi "phản chiếu" nụ cười của tôi. Bạn có nhận thấy điều gì kỳ lạ hoặc không thoải mái không? Góc trong của lông mày tôi bị hạ xuống một cách sai lệch. Việc hạ lông mày một cách sai lệch này vẫn tồn tại trong các loại nụ cười khác nhau. Nó cũng xuất hiện ở người dùng khác.

Lông mày trong hạ thấp kết hợp với môi trên nhô lên (do) Người nhăn mũi hoặc Cơ nâng môi trên) thường được liên kết với những cảm xúc tiêu cực. Đầu lông mày hạ xuống cũng có mối tương quan nghịch với nụ cười. Những lỗi theo dõi có ý nghĩa ngữ nghĩa này có thể vô tình gợi ý cảm xúc tiêu cực.

Những sai lầm này xảy ra như thế nào?

Kết quả dương tính giả trong việc hạ lông mày thường xuất phát từ các vấn đề về chất lượng dữ liệu, lỗi ghi nhãn và sự lựa chọn nghệ thuật. Dưới đây là lý do tại sao những vấn đề này vẫn tồn tại:

1. Không có đủ sự chú trọng vào chất lượng dữ liệu.
2. Không có đủ sự chú trọng vào nghệ thuật.

Ở mọi nơi tôi đã làm việc, luôn có rất nhiều lo ngại về việc tuyển dụng kỹ sư có nền tảng chuyên môn cụ thể. Số lượng nhân viên được điều chuyển khỏi các vị trí quan trọng khác.

Nhiều nhà lãnh đạo kỹ thuật cho rằng nếu họ thu thập đủ dữ liệu để đào tạo mô hình, các vấn đề về chất lượng sẽ tự động được giải quyết. Wow! Phép màu. Giả định này thường dựa trên một niềm tin sai lầm khác rằng chỉ có một tỷ lệ rất nhỏ dữ liệu không sạch.

Tôi đã dành nhiều thời gian nghiên cứu sâu về dữ liệu và đã trải qua hầu hết các vị trí không liên quan đến kỹ thuật trong lĩnh vực theo dõi khuôn mặt:

• Lập kế hoạch dữ liệu – Xác định loại dữ liệu biểu hiện cần thu thập và phương pháp thu thập.
• Thu thập dữ liệu – Thực sự làm việc với các tham gia viên và đào tạo họ để tạo ra các tư thế biểu cảm chính xác.
• Ghi chú dữ liệu – Xác định các phương pháp tốt nhất để đánh dấu các điểm tham chiếu.
• Phân loại dữ liệu – Tư vấn cho bộ phận kỹ thuật về các lớp (class) cần tồn tại, các thông số (parameter) của chúng và cách xử lý các trường hợp ngoại lệ (edge cases) không thể tránh khỏi.
• Mở rộng quy mô – Đảm bảo các quy tắc về chú thích và phân loại được tiêu chuẩn hóa và dễ hiểu đối với các nhà chú thích quy mô lớn.
• theo dõi và giám sát – So sánh kết quả thực tế với kết quả theo dõi
• Xác định các lĩnh vực cần cải thiện – Xác định các vấn đề hiện có và cách cải thiện chúng thông qua lập kế hoạch, thu thập, chú thích và/hoặc phân loại.
• Phát triển avatar – Xác định chiến lược ưu tiên các hình dạng dựa trên sự kết hợp của các yếu tố như –
  • Nơi trình theo dõi không hoạt động
  • Các trường hợp sử dụng cuối cùng của sản phẩm là gì?
  • Điều gì sẽ mang lại vẻ đẹp thẩm mỹ nhất?
  • Điều gì là quan trọng nhất về mặt ngữ nghĩa?

Với nền tảng kiến thức về khoa học biểu cảm, giải phẫu khuôn mặt và kinh nghiệm làm việc sâu rộng với dữ liệu khuôn mặt, tôi có thể khẳng định rằng dữ liệu không chính xác là một vấn đề nghiêm trọng trong công nghệ theo dõi khuôn mặt, chứ không phải là một vấn đề nhỏ. Nói tóm lại, ngay cả khi thuật toán hoàn hảo, các vấn đề vẫn phát sinh từ:

Dữ liệu được tạo ra không chính xác

• Khi thu thập dữ liệu biểu cảm được tạo dáng từ người tham gia, dữ liệu luôn bị nhiễm. Đảm bảo.
• Hầu hết mọi người không thể thực hiện chính xác mọi biểu cảm mục tiêu. Rất hiếm khi tìm thấy dữ liệu biểu cảm khuôn mặt thuần túy. Khi người tham gia thực hiện các biểu cảm không thuần túy, điều này có thể do họ đang thể hiện sai biểu cảm khuôn mặt hoặc do họ không thể tách biệt biểu cảm mục tiêu mà không sử dụng các cơ mặt không liên quan đến mục tiêu.
• Để tóm lại, các chuyên viên thu thập dữ liệu thường không thể xác định liệu người tham gia có đạt được biểu hiện mục tiêu hay không. Sự thiếu hụt kiến thức này không phải lỗi của các chuyên viên thu thập dữ liệu, mà là do ưu tiên sai lầm và sự thiếu quan tâm của Công ty X trong việc tuyển dụng hoặc giữ chân nhân tài phù hợp.

Gán nhãn dữ liệu sai

• Do sự tập trung quá mức vào nhân tài kỹ thuật, các công ty thường bỏ qua việc ưu tiên các vị trí liên quan đến việc gắn nhãn dữ liệu. Thay vào đó, công việc gắn nhãn dữ liệu thường được xem là các vị trí cấp thấp, dành cho các nhà thầu không có chuyên môn đặc biệt.
• Những nhà thầu mới vào nghề với ít kinh nghiệm có thể dần dần trở nên thành thạo với dữ liệu để đạt được chuyên môn; tuy nhiên, điều này hiếm khi xảy ra, vì các vị trí dán nhãn hợp đồng thường có tỷ lệ luân chuyển nhân sự cao.

Lựa chọn nghệ thuật thiếu thông tin

• Đối với nghệ thuật, việc hiểu công nghệ là quan trọng, và đối với công nghệ, việc hiểu nghệ thuật cũng quan trọng không kém. Hiện nay, tồn tại một khoảng cách đáng kinh ngạc giữa nghệ thuật và kỹ thuật trong các công ty công nghệ. Trong nhiều trường hợp, các công cụ theo dõi (trackers) trông đẹp mắt không phải do bản thân chúng, mà là nhờ những lựa chọn nghệ thuật được áp dụng để khắc phục những hạn chế kỹ thuật chưa hoàn thiện phía sau. Cần đầu tư nhiều nguồn lực hơn để thu hẹp khoảng cách giữa nghệ thuật và kỹ thuật.

Trở lại Memoji & Hiện tượng nhầm lẫn khi hạ lông mày

Như đã đề cập ở đầu bài viết này, mỗi khi Memoji cố gắng sao chép nụ cười của tôi, có một chi tiết thừa là hạ lông mày ở góc trong của lông mày. Lại một lần nữa, chi tiết này vẫn xuất hiện trong nhiều loại nụ cười khác nhau.

Biểu đồ dưới đây là một ví dụ về cách tương tác giữa chất lượng dữ liệu và nghệ thuật có thể ảnh hưởng tiêu cực đến các biểu cảm khác nhau và gây ra các vấn đề như hạ lông mày khi cười.

LƯU ÝTất nhiên, có thể có nhiều nguyên nhân tiềm ẩn, bao gồm cả vấn đề liên quan đến thuật toán; tuy nhiên, bản tóm tắt này được lập ra để làm nổi bật một tình huống cụ thể với một bộ điều kiện cụ thể.